Tutorial on Diffusion Models for Imaging and Vision

Stanley Chan

March 26, 2024

Abstract. 최근 몇 년 동안 생성 도구의 놀라운 성장은 텍스트-이미지 생성 및 텍스트-비디오 생성에서 많은 흥미로운 응용 프로그램에 힘을 실어주었다. 이러한 생성 도구의 기본 원리는 이전 접근법에서 어렵다고 간주되었던 일부 단점을 극복한 특정 샘플링 메커니즘인 diffusion의 개념이다. 이 자습서의 목표는 확산 모델의 기본 개념을 논의하는 것이다. 이 튜토리얼의 대상 고객은 확산 모델에 대한 연구를 수행하거나 다른 문제를 해결하기 위해 이러한 모델을 적용하는 데 관심이 있는 학부 및 대학원생을 포함한다.

1 The Basics: Variational Auto-Encoder (VAE)

Report issue for preceding element

1.1 VAE Setting

Report issue for preceding element

오래 전, 멀리 떨어진 은하계에서 우리는 잠재 코드로부터 이미지를 생성하는 발전기를 만들고자 합니다. 가장 간단한(그리고 아마도 가장 고전적인) 접근법은 아래에 표시된 인코더-디코더 쌍을 고려하는 것이다. 이를 variational autoencoder (VAE) [1, 2, 3]라고 한다.

Report issue for preceding element

오토인코더는 입력변수 $\mathbf{x}$와 잠재변수 $\mathbf{z}$를 갖는다. 피사체를 이해하기 위해 $\mathbf{x}$를 아름다운 이미지로, $\mathbf{z}$를 어떤 고차원 공간에 사는 일종의 벡터로 취급한다.

Example. Getting a latent representation of an image is not an alien thing. Back in the time of JPEG compression (which is arguably a dinosaur), we use discrete cosine transform (DCT) basis $\boldsymbol{\varphi}_{n}$ to encode the underlying image / patches of an image. The coefficient vector $\mathbf{z}=[z_{1},\ldots,z_{N}]^{T}$ is obtained by projecting the patch $\mathbf{x}$ onto the space spanned by the basis: $z_{n}=\langle\boldsymbol{\varphi}_{n},\mathbf{x}\rangle$. So, if you give us an image $\mathbf{x}$, we will return you a coefficient vector $\mathbf{z}$. From $\mathbf{z}$ we can do inverse transform to recover (ie decode) the image. Therefore, the coefficient vector $\mathbf{z}$ is the latent code. The encoder is the DCT transform, and the decoder is the inverse DCT transform.

"변수"라는 이름은 확률 분포를 사용하여 $\mathbf{x}$ 및 $\mathbf{z}$를 설명하는 요인에서 비롯됩니다. $\mathbf{x}$를 $\mathbf{z}$로 변환하는 결정론적 절차에 의지하는 대신에, 우리는 분포 $p(\mathbf{x})$가 원하는 분포 $p(\mathbf{z})$에 매핑될 수 있고, $p(\mathbf{x})$로 역행할 수 있도록 하는 것에 더 관심이 있다. 분포 설정 때문에 몇 가지 분포를 고려해야 합니다.

• $p(\mathbf{x})$: $\mathbf{x}$의 분포. 그것은 결코 알려져 있지 않다. 그걸 알았다면 억만장자가 됐을 거야 확산 모델의 전체 은하는 $p(\mathbf{x})$로부터 샘플을 추출하는 방법을 찾는 것이다.

• $p(\mathbf{z})$: The distribution of the latent variable. Because we are all lazy, let’s just make it a zero-mean unit-variance Gaussian $p(\mathbf{z})=\mathcal{N}(0,\mathbf{I})$.

  Report issue for preceding element

• $p(\mathbf{z}|\mathbf{x})$: The conditional distribution associated with the encoder, which tells us the likelihood of $\mathbf{z}$ when given $\mathbf{x}$. We have no access to it. $p(\mathbf{z}|\mathbf{x})$ itself is not the encoder, but the encoder has to do something so that it will behave consistently with $p(\mathbf{z}|\mathbf{x})$.

  Report issue for preceding element

• $p(\mathbf{x}|\mathbf{z})$: decoder과 연관된 조건부 분포는 주어진 $\mathbf{x}$가 $\mathbf{z}$를 얻는 사후 확률을 알려준다. 다시 말하지만, 우리는 그것에 접근할 수 없습니다.

The four distributions above are not too mysterious. Here is a somewhat trivial but educational example that can illustrate the idea. Example. Consider a random variable $\mathbf{X}$ distributed according to a Gaussian mixture model with a latent variable $z\in\{1,\ldots,K\}$ denoting the cluster identity such that $p_{Z}(k)=\mathbb{P}[Z=k]=\pi_{k}$ for $k=1,\ldots,K$. We assume $\sum_{k=1}^{K}\pi_{k}=1$. Then, if we are told that we need to look at the $k$-th cluster only, the conditional distribution of $\mathbf{X}$ given $Z$ is $\displaystyle p_{\mathbf{X}|Z}(\mathbf{x}|k)=\mathcal{N}(\mathbf{x}\,|\,$ The marginal distribution of $\mathbf{x}$ can be found using the law of total probability, giving us $$p_{\mathbf{X}}(\mathbf{x})=\sum_{k=1}^{K}p_{\mathbf{X}|Z}(\mathbf{x}|k)p_{Z}(k$$ (1) Therefore, if we start with $p_{\mathbf{X}}(\mathbf{x})$, the design question for the encoder to build a magical encoder such that for every sample $\mathbf{x}\sim p_{\mathbf{X}}(\mathbf{x})$, the latent code will be $z\in\{1,\ldots,K\}$ with a distribution $z\sim p_{Z}(k)$. To illustrate how the encoder and decoder work, let’s assume that the mean and variance are known and are fixed. Otherwise we will need to estimate the mean and variance through an EM algorithm. It is doable, but the tedious equations will defeat the purpose of this illustration. Encoder: How do we obtain $z$ from $\mathbf{x}$? This is easy because at the encoder, we know $p_{\mathbf{X}}(\mathbf{x})$ and $p_{Z}(k)$. Imagine that you only have two class $z\in\{1,2\}$. Effectively you are just making a binary decision of where the sample $\mathbf{x}$ should belong to. There are many ways you can do the binary decision. If you like maximum-a-posteriori, you can check $$p_{Z|\mathbf{X}}(1|\mathbf{x})\gtrless^{\text{class 1}}_{\text{class 2}}p_{Z|$$ and this will return you a simple decision rule. You give us $\mathbf{x}$, we tell you $z\in\{1,2\}$. Decoder: On the decoder side, if we are given a latent code $z\in\{1,\ldots,K\}$, the magical decoder just needs to return us a sample $\mathbf{x}$ which is drawn from $p_{\mathbf{X}|Z}(\mathbf{x}|k)=\mathcal{N}(\mathbf{x}\,|\,\boldsymbol{\mu}_{k}$. A different $z$ will give us one of the $K$ mixture components. If we have enough samples, the overall distribution will follow the Gaussian mixture.

Report issue for preceding element

당신 같은 똑똑한 독자들은 분명히 불평할 것이다: "당신의 예는 아주 사소한 비현실적이다." 걱정하지 마라. 이해해요 물론 삶은 알려진 평균과 알려진 분산을 가진 가우시안 혼합 모델보다 훨씬 더 어렵다. 그러나 우리가 깨달은 한가지는 우리가 마법의 인코더와 디코더를 찾으려면 두 개의 조건부 분포를 찾을 수 있는 방법이 있어야 한다는 것이다. 하지만, 그들은 둘 다 고차원적인 생물이다. 그래서 우리가 더 의미 있는 말을 하기 위해서는 더 어려운 문제에 개념을 일반화할 수 있도록 추가 구조를 부과해야 합니다.

VAE의 문헌에서 사람들은 다음 두 가지 대리 분포를 고려할 아이디어를 고안한다.

• $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$: $p(\mathbf{z}|\mathbf{x})$에 대한 프록시. 우리는 그것을 가우시안처럼 만들 것이다. 왜 가우시안이죠? 별 이유 없어 아마도 우리는 그저 평범한(일명 게으른) 인간일 것이다.

• $p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$: $p(\mathbf{x}|\mathbf{z})$에 대한 프록시. 믿거나 말거나, 우리는 가우시안으로도 만들 것입니다. 그러나 이 가우시안 의 역할은 가우시안 $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$와는 약간 다르다. estimate the mean and variance for the Gaussian $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$> 우리는 Gaussian $p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$에 대해 아무것도 추정할 필요가 없다. 대신에, $\mathbf{z}$를 $\mathbf{x}$로 바꾸는 디코더 신경망이 필요할 것이다. 가우시안 $p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$는 우리가 생성한 이미지 $\mathbf{x}$가 얼마나 좋은지 알려주기 위해 사용될 것이다.

The relationship between the input $\mathbf{x}$ and the latent $\mathbf{z}$, as well as the conditional distributions, are summarized in Figure 1. There are two nodes $\mathbf{x}$ and $\mathbf{z}$. The “forward” relationship is specified by $p(\mathbf{z}|\mathbf{x})$ (and approximated by $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$), whereas the “reverse” relationship is specified by $p(\mathbf{x}|\mathbf{z})$ (and approximated by $p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$).

Report issue for preceding element

Figure 1: In a variational autoencoder, the variables $\mathbf{x}$ and $\mathbf{z}$ are connected by the conditional distributions $p(\mathbf{x}|\mathbf{z})$ and $p(\mathbf{z}|\mathbf{x})$. To make things work, we introduce two proxy distributions $p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$ and $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$, respectively.

Report issue for preceding element

Example. It’s time to consider another trivial example. Suppose that we have a random variable $\mathbf{x}$ and a latent variable $\mathbf{z}$ such that $\displaystyle\mathbf{x}$ $\displaystyle\sim\mathcal{N}(\mathbf{x}\,|\,\mu,\sigma^{2}),$ $\displaystyle\mathbf{z}$ $\displaystyle\sim\mathcal{N}(\mathbf{z}\,|\,0,1).$ Our goal is to construct a VAE. (What?! This problem has a trivial solution where $\mathbf{z}=(\mathbf{x}-\mu)/\sigma$ and $\mathbf{x}=\boldsymbol{\mu}+\sigma\mathbf{z}$. You are absolutely correct. But please follow our derivation to see if the VAE framework makes sense.) By constructing a VAE, we mean that we want to build two mappings “encode” and “decode”. For simplicity, let’s assume that both mappings are affine transformations: $\displaystyle\mathbf{z}$ $\displaystyle=\text{encode}(\mathbf{x})=a\mathbf{x}+b,\qquad\text{so that}\quad\boldsymbol{\phi}=[a,b],$ $\displaystyle\mathbf{x}$ $\displaystyle=\text{decode}(\mathbf{z})=c\mathbf{z}+d,\qquad\text{so that}\quad\boldsymbol{\theta}=[c,d].$ We are too lazy to find out the joint distribution $p(\mathbf{x},\mathbf{z})$, nor the conditional distributions $p(\mathbf{x}|\mathbf{z})$ and $p(\mathbf{z}|\mathbf{x})$. But we can construct the proxy distributions $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$ and $p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$. Since we have the freedom to choose what $q_{\boldsymbol{\phi}}$ and $p_{\boldsymbol{\theta}}$ should look like, how about we consider the following two Gaussians $\displaystyle q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$ $\displaystyle=\mathcal{N}(\mathbf{z}\;|\;a\mathbf{x}+b,1),$ $\displaystyle p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$ $\displaystyle=\mathcal{N}(\mathbf{x}\;|\;c\mathbf{z}+d,c).$ The choice of these two Gaussians is not mysterious. For $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$: if we are given $\mathbf{x}$, of course we want the encoder to encode the distribution according to the structure we have chosen. Since the encoder structure is $a\mathbf{x}+b$, the natural choice for $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$ is to have the mean $a\mathbf{x}+b$. The variance is chosen as 1 because we know that the encoded sample $\mathbf{z}$ should be unit-variance. Similarly, for $p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$: if we are given $\mathbf{z}$, the decoder must take the form of $c\mathbf{z}+d$ because this is how we setup the decoder. The variance is $c$ which is a parameter we need to figure out. We will pause for a moment before continuing this example. We want to introduce a mathematical tool.

1.2 Evidence Lower Bound

Report issue for preceding element

이 두 가지 프록시 분포를 사용하여 인코더와 디코더를 결정하는 목표를 달성하려면 어떻게 해야 합니까? $\boldsymbol{\phi}$와 $\boldsymbol{\theta}$를 최적화 변수로 취급하면, 훈련 샘플을 통해 $\boldsymbol{\phi}$와 $\boldsymbol{\theta}$를 최적화할 수 있도록 목적 함수(또는 손실 함수)가 필요하다. 이를 위해, $\boldsymbol{\phi}$와 $\boldsymbol{\theta}$의 관점에서 손실 함수를 설정할 필요가 있다. 여기서 사용하는 손실 함수는 Evidence Lower BOund (ELBO) [1]:

한 마디로, ELBO는 lower bound for the prior distribution $\log p(\mathbf{x})$ because we can show that

$$\log p(\mathbf{x})=\text{some magical steps} =\mathbb{E}_{q_{\phi}(\mathbf{z}|\mathbf{x})}\left[\log\frac{p(\mathbf{x},\mathbf{z})}{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\right]+\mathbb{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})\|p(\mathbf{z}|\mathbf{x}))$$ (3)

$$\geq\mathbb{E}_{q_{\phi}(\mathbf{z}|\mathbf{x})}\left[\log\frac{p(\mathbf{x},\mathbf{z})}{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\right]$$

$$\overset{\text{def}}{=}\text{ELBO}(\mathbf{x}),$$

여기서 부등식은 KL 발산이 항상 음이 아니라는 사실에서 비롯된다. 따라서, ELBO는 $\log p(\mathbf{x})$에 유효한 하한이다. 우리는 결코 $\log p(\mathbf{x})$에 접근할 수 없기 때문에, 만약 우리가 어떻게든 ELBO에 접근할 수 있고 ELBO가 좋은 하한이라면, 우리는 효과적으로 ELBO를 최대화하여 금본위제인 $\log p(\mathbf{x})$를 최대화하는 목표를 달성할 수 있다. 이제, 문제는 하한선이 얼마나 좋은가이다. 식 및 그림 2에서도 알 수 있듯이, 우리의 프록시 $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$가 참 분포 $p(\mathbf{z}|\mathbf{x})$와 정확히 일치할 수 있을 때 부등식은 등식이 될 것이다. 그래서, 게임의 일부는 $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$가 $p(\mathbf{z}|\mathbf{x})$에 근접하도록 하는 것이다.

Figure 2:Visualization of $\log p(\mathbf{x})$ and ELBO. 둘 사이의 간격은 KL 발산 $\mathbb{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})\|p(\mathbf{z}|\mathbf{x}))$.

Report issue for preceding element

Proof of Eqn (3). The whole trick here is to use our magical proxy $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$ to poke around $p(\mathbf{x})$ and derive the bound. $\displaystyle\log p(\mathbf{x})$ $\displaystyle=\log p(\mathbf{x})\times\underset{=1}{\underbrace{\int q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})d\mathbf{z}}}$ multiply 1 $\displaystyle=\int\underset{\text{some constant wrt $\mathbf{z}$}}{\underbrace{\log p(\mathbf{x})}}\times\underset{\text{distribution in $\mathbf{z}$}}{\underbrace{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}}d\mathbf{z}$ move $\log p(\mathbf{x})$ into integral $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}[\log p(\mathbf{x})],$ (4) where the last equality is an interesting fact that $\int a\times p_{Z}(z)dz=\mathbb{E}[a]$ for any random variable $Z$ and a scalar $a$. Of course, $\mathbb{E}[a]=a$. See, we have already got $\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}[\cdot]$. Just a few more steps. Let’s use Bayes theorem which states that $p(\mathbf{x},\mathbf{z})=p(\mathbf{z}|\mathbf{x})p(\mathbf{x})$: $\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}[\log p(\mathbf{x})]$ $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\left[\log\frac{p(\mathbf{x},\mathbf{z})}{p(\mathbf{z}|\mathbf{x})}\right]$ Bayes Theorem $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\left[\log\frac{p(\mathbf{x},\mathbf{z})}{p(\mathbf{z}|\mathbf{x})}\times{\color[rgb]{0,0,1}\frac{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}}\right]$ Multiply and divide $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$ $\displaystyle=\underset{\text{ELBO}}{\underbrace{\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\left[\log\frac{p(\mathbf{x},\mathbf{z})}{{\color[rgb]{0,0,1}q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}}\right]}}+\underset{\mathbb{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})\|p(\mathbf{z}|\mathbf{x}))}{\underbrace{\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\left[\log\frac{{\color[rgb]{0,0,1}q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}}{p(\mathbf{z}|\mathbf{x})}\right]}},$ (5) where we recognize that the first term is exactly ELBO, whereas the second term is exactly the KL divergence. Comparing Eqn (5) with Eqn (3), we know that life is good.

이제 ELBO가 있습니다. 그러나 이 ELBO는 $p(\mathbf{x},\mathbf{z})$, 우리가 접근할 수 없는 것을 포함하기 때문에 여전히 너무 유용하지 않다. 그래서, 우리는 조금 더 많은 것들을 할 필요가 있다. ELBO를 자세히 살펴보자

$$\text{ELBO}(\mathbf{x}) \overset{\text{def}}{=}\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\left[\log\frac{p(\mathbf{x},\mathbf{z})}{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\right]$$ definition

$$=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\left[\log\frac{{\color[rgb]{0,0,1}p(\mathbf{x}|\mathbf{z})p(\mathbf{z})}}{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\right] \qquad p(\mathbf{x},\mathbf{z})=p(\mathbf{x}|\mathbf{z})p(\mathbf{z})$$

$$=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\left[\log p(\mathbf{x}|\mathbf{z})\right]+\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\left[\log\frac{p(\mathbf{z})}{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\right]$$ split expectation

$$=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\left[\log{\color[rgb]{0,0,1}p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})}\right]-\mathbb{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})\|p(\mathbf{z})),$$ definition of KL

여기서 우리는 접근할 수 없는 $p(\mathbf{x}|\mathbf{z})$를 자신의 프록시 $p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$로 비밀리에 대체했다. beautiful 결과입니다. 우리는 아주 이해하기 쉬운 것을 보여줬습니다.

Reconstruction. 첫 번째 용어는 decoder에 관한 것이다. 우리는 잠재 $\mathbf{z}$를 디코더에 공급하면 디코더가 좋은 이미지 $\mathbf{x}$를 생성하기를 원한다(물론!!). 따라서 maximize $\log p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$를 원합니다. 우리가 이미지를 관찰할 가능성을 최대화하기 위해 모델 모수를 찾고자 하는 최대 우도와 유사하다. 여기서의 기대는 샘플 $\mathbf{z}$($\mathbf{x}$에서 조건됨)에 대하여 취해진다. 샘플 $\mathbf{z}$가 디코더의 품질을 평가하는 데 사용되기 때문에 이것은 놀랄 일이 아니다. 임의의 잡음 벡터가 아니라 의미 있는 잠재 벡터이다. 그래서 $\mathbf{z}$는 $q_{\phi}(\mathbf{z}|\mathbf{x})$로부터 샘플링할 필요가 있다.

Prior Matching. 두 번째 용어는 encoder에 대한 KL 발산입니다. 우리는 인코더가 $\mathbf{x}$를 잠재 벡터 $\mathbf{z}$로 바꾸어 잠재 벡터가 (게으른) 분포 $\mathcal{N}(0,\mathbf{I})$의 우리의 선택을 따르도록 한다. 좀 더 일반화하기 위해 $p(\mathbf{z})$를 대상 분포로 쓴다. KL은 거리이기 때문에 (두 분포가 더 유사해질 때 증가하는) 두 분포가 더 유사해질 때 증가하도록 음의 부호를 앞에 둘 필요가 있다.

Example. Let’s continue our trivial Gaussian example. We know from our previous derivation that $\displaystyle q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$ $\displaystyle=\mathcal{N}(\mathbf{z}\;|\;a\mathbf{x}+b,1),$ $\displaystyle p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$ $\displaystyle=\mathcal{N}(\mathbf{x}\;|\;c\mathbf{z}+d,c).$ To determine $\boldsymbol{\theta}$ and $\boldsymbol{\phi}$, we need to minimize the prior matching error and maximize the reconstruction term. For the prior matching, we know that $\displaystyle\mathbb{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})\|p(\mathbf{z}))=\mathbb{D}_{\text{KL}}\left(\mathcal{N}(\mathbf{z}\;|\;a\mathbf{x}+b,1)\;\|\;\mathcal{N}(\mathbf{z}\;|\;0,1)\right).$ Since $\mathbb{E}[\mathbf{x}]=\mu$ and $\mathrm{Var}[\mathbf{x}]=\sigma^{2}$, the KL-divergence is minimized when $a=\frac{1}{\sigma}$ and $b=-\frac{\mu}{\sigma}$ so that $a\mathbf{x}+b=\frac{\mathbf{x}-\mu}{\sigma}$. It then follows that $\mathbb{E}[a\mathbf{x}+b]=0$, and $\mathrm{Var}[a\mathbf{x}+b]=1$. For the reconstruction term, we know that $\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}[\log p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})]=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}\left[-\frac{(c\mathbf{z}+d-\mu)^{2}}{2c^{2}}\right].$ Since $\mathbb{E}[\mathbf{z}]=0$ and $\mathrm{Var}[\mathbf{z}]=1$, it follows that the term is maximized when $c=\sigma$ and $d=\mu$. To conclude, the encoder and decoder parameters are $\displaystyle\mathbf{z}$ $\displaystyle=\text{encode}(\mathbf{x})=\frac{\mathbf{x}-\mu}{\sigma},$ $\displaystyle\mathbf{x}$ $\displaystyle=\text{decode}(\mathbf{z})=\sigma\mathbf{z}+\mu,$ which is fairly easy to understand.

재구성 용어 및 사전 매칭 용어는 그림 3에 예시되어 있다. 두 경우 모두, 그리고 트레이닝 동안, 우리는 $\mathbf{z}$ 및 $\mathbf{x}$ 둘 다에 액세스할 수 있다고 가정하며, 여기서 $\mathbf{z}$는 $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$로부터 샘플링될 필요가 있다. 그런 다음 재구성을 위해 $\boldsymbol{\theta}$를 추정하여 $p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$를 최대화한다. 사전 매칭을 위해, 우리는 KL 발산을 최소화하기 위해 $\boldsymbol{\phi}$를 찾는다. $\boldsymbol{\phi}$를 업데이트하면 $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$ 분포가 달라지기 때문에 최적화는 어려울 수 있다.

그림 3:Variational autoencoder를 위한 ELBO에서 재구성 용어와 사전 매칭 용어를 해석한다.

Report issue for preceding element

1.3 Training VAE

Report issue for preceding element

이제 우리는 ELBO의 의미를 이해했으니, VAE를 훈련하는 방법에 대해 논의할 수 있습니다. VAE를 훈련시키기 위해서는 그라운드 트루스 쌍 $(\mathbf{x},\mathbf{z})$가 필요하다. 우리는 $\mathbf{x}$를 얻는 방법을 알고 있다; 그것은 단지 데이터셋의 이미지일 뿐이다. 그러나 그에 상응하여 $\mathbf{z}$는 어떤 것이어야 하는가?

encoder에 대해 알아봅니다. 분포 $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$로부터 $\mathbf{z}$가 생성됨을 알 수 있다. 또한 $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})$가 가우시안임을 알 수 있다. 이 가우시안에는 평균 $\boldsymbol{\mu}$와 공분산 행렬 $\sigma^{2}\mathbf{I}$가 있다고 가정하자(Ha! Our laziness again! 우리는 일반적인 공분산 행렬을 사용하지 않고 등분산을 가정한다).

까다로운 부분은 입력 화상 $\mathbf{x}$로부터 $\boldsymbol{\mu}$와 $\sigma^{2}$를 결정하는 방법이다. 단서가 떨어지면 걱정하지 마 다크사이드 오브 더 포스에 오신 걸 환영합니다 We construct the deep neural network(s) such to

$$\boldsymbol{\mu} =\underset{\text{neural network}}{\underbrace{\boldsymbol{\mu}_{\boldsymbol{\phi}}}}(\mathbf{x})$$

$$\sigma^{2} =\underset{\text{neural network}}{\underbrace{\sigma_{\boldsymbol{\phi}}^{2}}}(\mathbf{x}),$$

따라서, 샘플 $\mathbf{z}^{(\ell)}$(여기서 $\ell$는 $\ell$-th training sample in the training set)을 가우시안 분포로부터 샘플링할 수 있다.

$$\mathbf{z}^{(\ell)}\sim\underset{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x}^{(\ell)})}{\underbrace{\mathcal{N}(\mathbf{z}\;|\;\boldsymbol{\mu}_{\boldsymbol{\phi}}(\mathbf{x}^{(\ell)}),\sigma_{\boldsymbol{\phi}}^{2}(\mathbf{x}^{(\ell)})\mathbf{I})}},\qquad\text{where $\boldsymbol{\mu}_{\boldsymbol{\phi}},\sigma_{\boldsymbol{\phi}}^{2}$ are functions of $\mathbf{x}$.}$$ (7)

이 아이디어는 그림 4에 요약되어 있으며, 여기서 우리는 신경망을 사용하여 가우시안 파라미터를 추정하고 가우시안으로부터 샘플을 추출합니다. $\boldsymbol{\mu}_{\boldsymbol{\phi}}(\mathbf{x}^{(\ell)})$ 및 $\sigma_{\boldsymbol{\phi}}^{2}(\mathbf{x}^{(\ell)})$는 $\mathbf{x}^{(\ell)}$의 함수임에 유의한다. 따라서, 상이한 $\mathbf{x}^{(\ell)}$에 대해, 우리는 상이한 가우시안(Gaussian)을 가질 것이다.

도 4:VAE 인코더의 구현. 우리는 신경망을 사용하여 이미지 $\mathbf{x}$를 취하고 가우시안 분포의 평균 $\boldsymbol{\mu}_{\boldsymbol{\phi}}$ 및 분산 $\sigma^{2}_{\boldsymbol{\phi}}$를 추정한다.

Report issue for preceding element

Remark. For any high-dimensional Gaussian $\mathbf{x}\sim\mathcal{N}(\mathbf{x}|\boldsymbol{\mu},\boldsymbol{\Sigma})$, the sampling process can be done via the transformation of white noise $$\mathbf{x}=\boldsymbol{\mu}+\boldsymbol{\Sigma}^{\frac{1}{2}}\mathbf{w},$$ (8) where $\mathbf{w}\sim\mathcal{N}(0,\mathbf{I})$. The half matrix $\boldsymbol{\Sigma}^{\frac{1}{2}}$ can be obtained through eigen-decomposition or Cholesky factorization. For diagonal matrices $\boldsymbol{\Sigma}=\sigma^{2}\mathbf{I}$, the above reduces to $$\mathbf{x}=\boldsymbol{\mu}+\sigma\mathbf{w},\qquad\text{where}\;\mathbf{w}\sim\mathcal{N}(0,\mathbf{I}).$$ (9)

decoder에 대해 알아봅니다. 디코더는 신경망을 통해 구현된다. 표기 단순화를 위해, $\text{decode}_{\boldsymbol{\theta}}$로 정의하자. 여기서 $\boldsymbol{\theta}$는 네트워크 파라미터를 나타낸다. 디코더 네트워크의 작업은 잠재 변수 $\mathbf{z}$를 취하여 이미지 $\widehat{\mathbf{x}}$를 생성하는 것이다:

$$\widehat{\mathbf{x}}=\text{decode}_{\boldsymbol{\theta}}(\mathbf{z}).$$ (10)

이제, 디코딩된 이미지 $\widehat{\mathbf{x}}$와 그라운드 트루스 이미지 $\mathbf{x}$ 사이의 오차가 가우시안이라고 한 번 더(미친) 가정해 보자. (잠깐, 가우시안 다시?!) 우리는 그렇게 가정한다.

$$(\widehat{\mathbf{x}}-\mathbf{x})\sim\mathcal{N}(0,\sigma_{\text{dec}}^{2}),\qquad\text{for some $\sigma_{\text{dec}}^{2}$.}$$

그러면, $p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})$ 분포가 다음과 같이 된다.

$$\log p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z}) =\log\mathcal{N}(\mathbf{x}\,|\,\text{decode}_{\boldsymbol{\theta}}(\mathbf{z}),\sigma_{\text{dec}}^{2}\mathbf{I})$$

$$=\log\frac{1}{\sqrt{(2\pi\sigma_{\text{dec}}^{2})^{D}}}\exp\left\{-\frac{\|\mathbf{x}-\text{decode}_{\boldsymbol{\theta}}(\mathbf{z})\|^{2}}{2\sigma_{\text{dec}}^{2}}\right\}$$

$$=-\frac{\|\mathbf{x}-\text{decode}_{\boldsymbol{\theta}}(\mathbf{z})\|^{2}}{2\sigma_{\text{dec}}^{2}}\;\;-\;\;\underset{\text{you can ignore this term}}{\underbrace{\log\sqrt{(2\pi\sigma_{\text{dec}}^{2})^{D}}}},$$ (11)

여기서 $D$는 $\mathbf{x}$의 차원이다. 이 방정식은 ELBO에서 우도항의 최대화는 말 그대로 디코딩된 영상과 그라운드 트루스 사이의 $\ell_{2}$ 손실일 뿐이라고 말한다. 이 아이디어는 그림 5에 나와 있다.

도 5:VAE 디코더의 구현. 뉴럴 네트워크를 이용하여 잠재 벡터 $\mathbf{z}$를 취하여 이미지 $\widehat{\mathbf{x}}$를 생성한다. 우리가 가우시안 분포를 가정하면 로그 우도는 우리에게 2차 방정식을 줄 것이다.

Report issue for preceding element

1.4 Loss Function

Report issue for preceding element

일단 인코더와 디코더의 구조를 이해하면 손실 함수를 쉽게 이해할 수 있다. 우리는 몬테카를로 시뮬레이션을 통해 기대치를 근사화한다:

$$\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x})}[\log p_{\boldsymbol{\theta}}(\mathbf{x}|\mathbf{z})]\approx\frac{1}{L}\sum_{\ell=1}^{L}\log p_{\boldsymbol{\theta}}(\mathbf{x}^{\ell}|\mathbf{z}^{(\ell)}),\qquad\mathbf{z}^{(\ell)}\sim q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x}^{(\ell)}),$$

여기서 $\mathbf{x}^{(\ell)}$는 $\ell$-th sample in the training set, and $\mathbf{z}^{(\ell)}$ is sampled from $\mathbf{z}^{(\ell)}\sim q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x}^{(\ell)})$. 분포 $q_{\boldsymbol{\theta}}$는 $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x}^{(\ell)})=\mathcal{N}(\mathbf{z}|$이다.

Training loss of VAE: $$\mathop{\underset{\boldsymbol{\phi},\boldsymbol{\theta}}{\mbox{argmax}}}\left\{\frac{1}{L}\sum_{\ell=1}^{L}\log p_{\boldsymbol{\theta}}(\mathbf{x}^{(\ell)}|\mathbf{z}^{(\ell)})-\mathbb{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x}^{(\ell)})\|p(\mathbf{z}))\right\},$$ (12) where $\{\mathbf{x}^{(\ell)}\}_{\ell=1}^{L}$ are the ground truth images in the training dataset, and $\mathbf{z}^{(\ell)}$ is sampled from Eqn (7).

KL 발산 항에서의 $\mathbf{z}$는 두 분포 사이의 KL 발산을 측정하고 있기 때문에 $\ell$에 의존하지 않는다. 여기서의 변수 $\mathbf{z}$는 더미이다.

마지막으로 우리가 명확히 해야 할 한 가지는 KL 발산이다. $q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x}^{(\ell)})=\mathcal{N}(\mathbf{z}|$와 $p(\mathbf{z})=\mathcal{N}(0,\mathbf{I})$이기 때문에, 우리는 본질적으로 두 개의 가우시안 분포를 얻고 있다. 위키피디아로 가면 두 $d$-dimensional Gaussian distributions $\mathcal{N}(\boldsymbol{\mu}_{0},\boldsymbol{\Sigma}_{0})$와 $\mathcal{N}(\boldsymbol{\mu}_{1},\boldsymbol{\Sigma}_{1})$에 대한 KL divergence가 있음을 알 수 있다.

$$\mathbb{D}_{\text{KL}}(\mathcal{N}(\boldsymbol{\mu}_{0},\boldsymbol{\Sigma}_{0}),\mathcal{N}(\boldsymbol{\mu}_{1},\boldsymbol{\Sigma}_{1}))=\frac{1}{2}\left(\text{Tr}(\boldsymbol{\Sigma}_{1}^{-1}\boldsymbol{\Sigma}_{0})-d+(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{0})^{T}\boldsymbol{\Sigma}_{1}^{-1}(\boldsymbol{\mu}_{1}-\boldsymbol{\mu}_{0})+\log\frac{\text{det}\boldsymbol{\Sigma}_{1}}{\text{det}\boldsymbol{\Sigma}_{0}}\right).$$ (13)

$\boldsymbol{\mu}_{0}=\boldsymbol{\mu}_{\boldsymbol{\phi}}(\mathbf{x}^{(\ell)})$, $\boldsymbol{\Sigma}_{0}=\sigma^{2}_{\boldsymbol{\phi}}(\mathbf{x}^{(\ell)})$, $\boldsymbol{\mu}_{1}=0$, $\boldsymbol{\Sigma}_{1}=\mathbf{I}$를 고려하여 우리의 분포를 대입하면, 우리는 KL 발산이 분석적인 식을 가지고 있음을 보여줄 수 있다.

$$\mathbb{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\mathbf{z}|\mathbf{x}^{(\ell)})\;\|\;p(\mathbf{z}))=\frac{1}{2}\left((\sigma_{\boldsymbol{\phi}}^{2}(\mathbf{x}^{(\ell)}))^{d}+\boldsymbol{\mu}_{\boldsymbol{\phi}}(\mathbf{x}^{(\ell)})^{T}\boldsymbol{\mu}_{\boldsymbol{\phi}}(\mathbf{x}^{(\ell)})-d\log(\sigma_{\boldsymbol{\phi}}^{2}(\mathbf{x}^{(\ell)}))\right),$$ (14)

여기서 $d$는 벡터 $\mathbf{z}$의 차원이다. 따라서, 전체 손실 함수 Eqn(12)은 미분 가능하다. 따라서, 우리는 기울기를 역전파함으로써 인코더와 디코더를 종단간으로 훈련시킬 수 있다.

1.5 Inference with VAE

Report issue for preceding element

For inference, we can simply throw a latent vector $\mathbf{z}$ (which is sampled from $p(\mathbf{z})=\mathcal{N}(0,\mathbf{I})$) into the decoder $\text{decode}_{\boldsymbol{\theta}}$ and get an image $\mathbf{x}$. That’s it; see Figure 6.

Report issue for preceding element

도 6:VAE를 사용하여 이미지를 생성하는 것은 디코더를 통해 잠재 노이즈 코드 $\mathbf{z}$를 보내는 것만큼 간단하다.

Report issue for preceding element

Congratulations! 우린 끝났어 이건 VAE에 관한 거야

더 읽고 싶다면 Kingma와 Welling [1]의 자습서를 적극 권장합니다. 더 짧은 자습서는 [2]에서 찾을 수 있습니다. Google에서 VAE tutorial PyTorch을 입력하면 수백 개 또는 수천 개의 프로그래밍 자습서 및 비디오를 찾을 수 있습니다.

2 Denoising Diffusion Probabilistic Model (DDPM)

Report issue for preceding element

이 절에서는 Ho et al. [4]에 의한 DDPM을 논할 것이다. 온라인에서 수천 개의 자습서로 인해 혼란스럽다면 DDPM이 그렇게 복잡하지 않으니 안심하십시오. 다음 요약만 이해하면 됩니다.

Diffusion models are incremental updates where the assembly of the whole gives us the encoder-decoder structure. The transition from one state to another is realized by a denoiser.

왜 증가하죠? 그것은 거대한 배의 방향을 돌리는 것과 같다. 원하는 방향으로 천천히 배를 돌려야 합니다. 그렇지 않으면 통제력을 잃게 됩니다. 당신의 삶, 당신의 회사 인사, 당신의 대학 행정, 당신의 배우자, 당신의 자녀, 그리고 당신의 삶의 모든 것에 동일한 원칙이 적용된다. “한 번에 한 인치씩 구부려!” (신용: 전자 이미징 2023에서 이 발언을 한 세르히오 고마)

확산 모델의 구조를 이하에 나타낸다. variational diffusion model [5]라고 한다. 변이 확산 모델은 상태들의 시퀀스 $\mathbf{x}_{0},\mathbf{x}_{1},\ldots,\mathbf{x}_{T}$를 갖는다:

• $\mathbf{x}_{0}$: 원본 이미지이며, 이는 VAE에서 $\mathbf{x}$와 동일하다.

• $\mathbf{x}_{T}$: 잠재변수이며, 이는 VAE에서 $\mathbf{z}$와 동일하다. 우리는 모두 게으르기 때문에 $\mathbf{x}_{T}\sim\mathcal{N}(0,\mathbf{I})$를 원한다.

• $\mathbf{x}_{1},\ldots,\mathbf{x}_{T-1}$: 이들은 중간 상태이다. 잠재 변수이기도 하지만 흰색 가우시안도 아닙니다.

변분 확산 모형의 구조는 7와 같다. 순방향 및 역방향 경로는 단일 단계 가변 오토인코더의 경로와 유사하다. 차이점은 인코더와 디코더가 동일한 입력-출력 차원을 갖는다는 것이다. 모든 순방향 빌딩 블록들의 조립은 인코더를 줄 것이고, 모든 역방향 빌딩 블록들의 조립은 디코더를 줄 것이다.

Figure 7:Variational diffusion model. 이 모델에서, 입력 영상은 $\mathbf{x}_{0}$이고, 백색 노이즈는 $\mathbf{x}_{T}$이다. 중간 변수(또는 상태) $\mathbf{x}_{1},\ldots,\mathbf{x}_{T-1}$는 잠재 변수이다. $\mathbf{x}_{t-1}$에서 $\mathbf{x}_{t}$로의 전이는 VAE에서의 순방향 단계(인코더)와 유사한 반면, $\mathbf{x}_{t}$에서 $\mathbf{x}_{t-1}$로의 전이는 VAE에서의 역방향 단계(디코더)와 유사하다. 그러나, 여기서 인코더/디코더의 입력 차원과 출력 차원은 동일하다는 점에 유의한다.

Report issue for preceding element

2.1 Building Blocks

Report issue for preceding element

Transition Block The $t$-th transition block consists three states $\mathbf{x}_{t-1}$, $\mathbf{x}_{t}$, and $\mathbf{x}_{t+1}$. 8에 예시된 바와 같이 상태 $\mathbf{x}_{t}$에 도달하기 위한 두 가지 가능한 경로가 있다.

• $\mathbf{x}_{t-1}$에서 $\mathbf{x}_{t}$로 넘어가는 순방향 천이. 연관된 전이 분포는 $p(\mathbf{x}_{t}|\mathbf{x}_{t-1})$이다. 쉽게 말해, $\mathbf{x}_{t-1}$라고 말하면, $p(\mathbf{x}_{t}|\mathbf{x}_{t-1})$에 따라 $\mathbf{x}_{t}$라고 말할 수 있다. 그러나, VAE와 마찬가지로, 전이 분포 $p(\mathbf{x}_{t}|\mathbf{x}_{t-1})$는 결코 액세스할 수 없다. 하지만 이건 괜찮아 우리 같은 게으른 사람들은 가우시안 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})$로 근사할 것이다. 우리는 나중에 $q_{\boldsymbol{\phi}}$의 정확한 형태에 대해 논의할 것이지만, 그것은 단지 일부 가우시안일 뿐이다.

• 역전이는 $\mathbf{x}_{t+1}$에서 $\mathbf{x}_{t}$로 진행된다. 다시 말하지만, 우리는 $p(\mathbf{x}_{t+1}|\mathbf{x}_{t})$를 결코 알지 못하지만, 괜찮습니다. 우리는 참 분포를 근사화하기 위해 다른 가우시안 $p_{\boldsymbol{\theta}}(\mathbf{x}_{t+1}|\mathbf{x}_{t})$를 사용할 뿐, 그 평균은 신경망에 의해 추정될 필요가 있다.

그림 8:변이 확산 모델의 전이 블록은 세 개의 노드로 구성된다. 전이 분포 $p(\mathbf{x}_{t}|\mathbf{x}_{t+1})$와 $p(\mathbf{x}_{t}|\mathbf{x}_{t-1})$는 접근할 수 없지만 Gaussians로 근사화할 수 있다.

Report issue for preceding element

Initial Block Variational diffusion 모델의 초기 블록은 상태 $\mathbf{x}_{0}$에 초점을 맞춘다. 우리가 연구하는 모든 문제는 $\mathbf{x}_{0}$에서 시작되기 때문에 $\mathbf{x}_{1}$에서 $\mathbf{x}_{0}$로 역전이만 있을 뿐 $\mathbf{x}_{-1}$에서 $\mathbf{x}_{0}$로 가는 문제는 없다. 따라서 $p(\mathbf{x}_{0}|\mathbf{x}_{1})$에 대해서만 걱정하면 된다. 그러나 $p(\mathbf{x}_{0}|\mathbf{x}_{1})$는 결코 접근할 수 없기 때문에, 우리는 평균을 신경망을 통해 계산하는 가우시안 $p_{\boldsymbol{\theta}}(\mathbf{x}_{0}|\mathbf{x}_{1})$로 근사한다. 9를 예시로 참조한다.

도 9:variational diffusion 모델의 초기 블록은 노드 $\mathbf{x}_{0}$에 초점을 맞춘다. 시간 $t=0$ 이전에는 상태가 없기 때문에, $\mathbf{x}_{1}$에서 $\mathbf{x}_{0}$로 역전이할 뿐이다.

Report issue for preceding element

Final Block. 최종 블록은 상태 $\mathbf{x}_{T}$에 초점을 맞춘다. $\mathbf{x}_{T}$는 백색 가우시안 잡음 벡터인 우리의 최종 잠재 변수라는 것을 기억하라. 최종 블록이기 때문에, $\mathbf{x}_{T-1}$에서 $\mathbf{x}_{T}$로 순방향 천이만 있을 뿐, $\mathbf{x}_{T+1}$에서 $\mathbf{x}_{T}$와 같은 것은 없다. 순방향 전이는 가우시안인 $q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})$로 근사화된다. 10를 예시로 참조한다.

도 10:variational diffusion 모델의 최종 블록은 노드 $\mathbf{x}_{T}$에 초점을 맞춘다. 시간 $t=T$ 이후에는 상태가 없으므로, $\mathbf{x}_{T-1}$에서 $\mathbf{x}_{T}$로 순방향 천이할 뿐이다.

Report issue for preceding element

Understanding the Transition Distribution. 우리가 더 진행하기 전에, 우리는 전이 분포 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})$에 대해 이야기하기 위해 약간 우회할 필요가 있다. 우리는 그것이 가우시안이라는 것을 안다. 그러나 우리는 여전히 그것의 공식적인 정의와 이 정의의 기원을 알아야 합니다.

Transition Distribution $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})$. In a denoising diffusion probabilistic model, the transition distribution $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})$ is defined as $$q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})\overset{\text{def}}{=}\mathcal{N}(\mathbf{x}_{t}\,|\,\sqrt{\alpha_{t}}\mathbf{x}_{t-1},(1-\alpha_{t})\mathbf{I}).$$ (15)

즉, 평균은 $\sqrt{\alpha_{t}}\mathbf{x}_{t-1}$이고, 분산은 $1-\alpha_{t}$이다. 스케일링 팩터 $\sqrt{\alpha_{t}}$의 선택은 분산 크기가 많은 반복 후에 폭발하고 사라지지 않도록 보존되도록 하는 것이다.

Example. Let’s consider a Gaussian mixture model $$\mathbf{x}_{0}\sim p_{0}(\mathbf{x})=\pi_{1}\mathcal{N}(\mathbf{x}|\mu_{1},\sigma_{1}^{2})+\pi_{2}\mathcal{N}(\mathbf{x}|\mu_{2},\sigma_{2}^{2}).$$ Given the transition probability, we know that $$\mathbf{x}_{t}=\sqrt{\alpha_{t}}\mathbf{x}_{t-1}+\sqrt{(1-\alpha_{t})}\boldsymbol{\epsilon},\qquad\text{where}\;\;\boldsymbol{\epsilon}\sim\mathcal{N}(0,\mathbf{I}).$$ For a mixture model, it is not difficult to show that the probability distribution of $\mathbf{x}_{t}$ can be calculated recursively via the algorithm for $t=1,2,\ldots,T$: $\displaystyle p_{t}(\mathbf{x})=$ $\displaystyle\pi_{1}\mathcal{N}(\mathbf{x}|\sqrt{\alpha_{t}}\mu_{1,t-1},\alpha_{t}\sigma_{1,t-1}^{2}+(1-\alpha_{t}))$ $\displaystyle+$ $\displaystyle\pi_{2}\mathcal{N}(\mathbf{x}|\sqrt{\alpha_{t}}\mu_{2,t-1},\alpha_{t}\sigma_{2,t-1}^{2}+(1-\alpha_{t})),$ (16) where $\mu_{1,t-1}$ is the mean at $t-1$, with $\mu_{1,0}=\mu_{1}$ being the initial mean. Similarly, $\sigma_{1,t-1}^{2}$ is the variance at $t-1$, with $\sigma_{1,0}^{2}=\sigma_{1}^{2}$ being the initial variance. In the figure below, we show the example where $\pi_{1}=0.3$, $\pi_{2}=0.7$, $\mu_{1}=-2$, $\mu_{2}=2$, $\sigma_{1}=0.2$, and $\sigma_{2}=1$. The rate is defined as $\alpha_{t}=0.97$ for all $t$. We plot the probability distribution function for different $t$.

Remark. For those who would like to understand how we derive the probability density of a mixture model in Eqn (16), we can show a simple derivation. Consider a mixture model $\displaystyle p(\mathbf{x})=\sum_{k=1}^{K}\pi_{k}\underset{p(\mathbf{x}|k)}{\underbrace{\mathcal{N}(\mathbf{x}|\mu_{k},\sigma_{k}^{2}\mathbf{I})}}.$ If we consider a new variable $\mathbf{y}=\sqrt{\alpha}\mathbf{x}+\sqrt{1-\alpha}\boldsymbol{\epsilon}$ where $\boldsymbol{\epsilon}\sim\mathcal{N}(0,\mathbf{I})$, then the distribution of $\mathbf{y}$ can be derived by using the law of total probability: $\displaystyle p(\mathbf{y})$ $\displaystyle=\sum_{k=1}^{K}p(\mathbf{y}|k)p(k)=\sum_{k=1}^{K}\pi_{k}p(\mathbf{y}|k).$ Since $\mathbf{y}|k$ is a linear combination of a Gaussian random variable $\mathbf{x}$ and another Gaussian random variable $\boldsymbol{\epsilon}$, the sum $\mathbf{y}$ will remain as a Gaussian. The mean is $\displaystyle\mathbb{E}[\mathbf{y}|k]$ $\displaystyle=\sqrt{\alpha}\mathbb{E}[\mathbf{x}|k]+\sqrt{1-\alpha}\mathbb{E}[\boldsymbol{\epsilon}]=\sqrt{\alpha}\mu_{k}$ $\displaystyle\mathrm{Var}[\mathbf{y}|k]$ $\displaystyle=\alpha\mathrm{Var}[\mathbf{x}|k]+(1-\alpha)\mathrm{Var}[\boldsymbol{\epsilon}]=\alpha\sigma_{k}^{2}+(1-\alpha).$ So, $p(\mathbf{y}|k)=\mathcal{N}(\mathbf{y}|\sqrt{\alpha}\mu_{k},\alpha\sigma_{k}^{2}+(1-\alpha))$. This completes the derivation.

2.2 The magical scalars $\sqrt{\alpha_{t}}$ and $1-\alpha_{t}$

Report issue for preceding element

위 천이 확률에 대해 지니(디노이징 확산의 저자)가 마법의 스칼라 $\sqrt{\alpha}_{t}$와 $(1-\alpha_{t})$를 어떻게 떠올리는지 궁금할 수 있다. 이를 변형하기 위해, 관련 없는 두 개의 스칼라 $a\in\mathbb{R}$와 $b\in\mathbb{R}$로 시작하며, 우리는 전이 분포를 다음과 같이 정의한다.

$$q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})=\mathcal{N}(\mathbf{x}_{t}\,|\,a\mathbf{x}_{t-1},b^{2}\mathbf{I}).$$ (17)

Here is the rule of thumb: Why $\sqrt{\alpha_{t}}$ and $1-\alpha_{t}$? We want to choose $a$ and $b$ such that the distribution of $\mathbf{x}_{t}$ will become $\mathcal{N}(0,\mathbf{I})$ when $t$ is large enough. It turns out that the answer is $a=\sqrt{\alpha}$ and $b=\sqrt{1-\alpha}$. Proof. We want to show that $a=\sqrt{\alpha}$ and $b=\sqrt{1-\alpha}$. For the distribution shown in Eqn (17), the equivalent sampling step is: $$\mathbf{x}_{t}=a\mathbf{x}_{t-1}+b\boldsymbol{\epsilon}_{t-1},\qquad\text{$$ (18) Think about this: if there is a random variable $X\sim\mathcal{N}(\mu,\sigma^{2})$, drawing $X$ from this Gaussian can be equivalently achieved by defining $X=\mu+\sigma\eta$ where $\eta\sim\mathcal{N}(0,1)$. We can carry on the recursion to show that $\displaystyle\mathbf{x}_{t}$ $\displaystyle=a\mathbf{x}_{t-1}+b\boldsymbol{\epsilon}_{t-1}$ $\displaystyle=a(a\mathbf{x}_{t-2}+b\boldsymbol{\epsilon}_{t-2})+b\boldsymbol{$ $\displaystyle\qquad(\text{substitute }\mathbf{x}_{t-1}=a\mathbf{x}_{t-2}+b$ $\displaystyle=a^{2}\mathbf{x}_{t-2}+ab\boldsymbol{\epsilon}_{t-2}+b\boldsymbol$ $\displaystyle\qquad(\text{regroup terms })$ $\displaystyle=\vdots$ $\displaystyle=a^{t}\mathbf{x}_{0}+b\underset{\overset{\text{def}}{=}\mathbf{w}$ (19) The finite sum above is a sum of independent Gaussian random variables. The mean vector $\mathbb{E}[\mathbf{w}_{t}]$ remains zero because everyone has a zero mean. The covariance matrix (for a zero-mean vector) is $\displaystyle\text{Cov}[\mathbf{w}_{t}]\overset{\text{def}}{=}\mathbb{E}[$ $\displaystyle=b^{2}(\text{Cov}(\boldsymbol{\epsilon}_{t-1})+a^{2}\text{Cov}($ $\displaystyle=b^{2}(1+a^{2}+a^{4}+\ldots+a^{2(t-1)})\mathbf{I}$ $\displaystyle=b^{2}\cdot\frac{1-a^{2t-1}}{1-a^{2}}\mathbf{I}.$ As $t\rightarrow\infty$, $a^{t}\rightarrow 0$ for any $0<a<1$. Therefore, at the limit when $t=\infty$, $\displaystyle\lim_{t\rightarrow\infty}\text{Cov}[\mathbf{w}_{t}]=\frac{b^{2}}{$ So, if we want $\lim_{t\rightarrow\infty}\text{Cov}[\mathbf{w}_{t}]=\mathbf{I}$ (so that the distribution of $\mathbf{x}_{t}$ will approach $\mathcal{N}(0,\mathbf{I})$, then $b=\sqrt{1-a^{2}}$. Now, if we let $a=\sqrt{\alpha}$, then $b=\sqrt{1-\alpha}$. This will give us $$\mathbf{x}_{t}=\sqrt{\alpha}\mathbf{x}_{t-1}+\sqrt{1-\alpha}\boldsymbol{$$ (20) Or equivalently, $q_{\boldsymbol{\phi}}(\mathbf{x}|\mathbf{x}_{t-1})=\mathcal{N}(\mathbf{x}_{t}$. You can replace $\alpha$ by $\alpha_{t}$, if you prefer a scheduler.

Report issue for preceding element

2.3 Distribution $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})$

Report issue for preceding element

마법 스칼라에 대한 이해로 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})$ 분포에 대해 이야기할 수 있다. 즉, $\mathbf{x}_{0}$가 주어진다면 $\mathbf{x}_{t}$가 어떻게 분배될 것인지를 알고자 한다.

Conditional distribution $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})$. The conditional distribution $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})$ is given by $$q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})=\mathcal{N}(\mathbf{x}_{t}\,|\,\sqrt{\overline{\alpha}}_{t}\mathbf{x}_{0},\;\;(1-\overline{\alpha}_{t})\mathbf{I}),$$ (21) where $\overline{\alpha}_{t}=\prod_{i=1}^{t}\alpha_{i}$.

Proof. To see why this is the case, we can re-do the recursion but this time we use $\sqrt{\alpha_{t}}\mathbf{x}_{t-1}$ and $(1-\alpha_{t})\mathbf{I}$ as the mean and covariance, respectively. This will give us $\displaystyle\mathbf{x}_{t}$ $\displaystyle=\sqrt{\alpha_{t}}\mathbf{x}_{t-1}+\sqrt{1-\alpha_{t}}\boldsymbol{\epsilon}_{t-1}$ $\displaystyle=\sqrt{\alpha_{t}}(\sqrt{\alpha_{t-1}}\mathbf{x}_{t-2}+\sqrt{1-\alpha_{t-1}}\boldsymbol{\epsilon}_{t-2})+\sqrt{1-\alpha_{t}}\boldsymbol{\epsilon}_{t-1}$ $\displaystyle=\sqrt{\alpha_{t}\alpha_{t-1}}\mathbf{x}_{t-2}+\underset{\mathbf{w}_{1}}{\underbrace{\sqrt{\alpha_{t}}\sqrt{1-\alpha_{t-1}}\boldsymbol{\epsilon}_{t-2}+\sqrt{1-\alpha_{t}}\boldsymbol{\epsilon}_{t-1}}}.$ (22) Therefore, we have a sum of two Gaussians. But since sum of two Gaussians remains a Gaussian, we can just calculate its new covariance (because the mean remains zero). The new covariance is $\displaystyle\mathbb{E}[\mathbf{w}_{1}\mathbf{w}_{1}^{T}]$ $\displaystyle=[(\sqrt{\alpha_{t}}\sqrt{1-\alpha_{t-1}})^{2}+(\sqrt{1-\alpha_{t}})^{2}]\mathbf{I}$ $\displaystyle=[\alpha_{t}(1-\alpha_{t-1})+1-\alpha_{t}]\mathbf{I}=[1-\alpha_{t}\alpha_{t-1}]\mathbf{I}.$ Returning to Eqn (22), we can show that the recursion is updated to become a linear combination of $\mathbf{x}_{t-2}$ and a noise vector $\boldsymbol{\epsilon}_{t-2}$: $\displaystyle\mathbf{x}_{t}$ $\displaystyle=\sqrt{\alpha_{t}\alpha_{t-1}}\mathbf{x}_{t-2}+\sqrt{1-\alpha_{t}\alpha_{t-1}}\boldsymbol{\epsilon}_{t-2}$ $\displaystyle=\sqrt{\alpha_{t}\alpha_{t-1}\alpha_{t-2}}\mathbf{x}_{t-3}+\sqrt{1-\alpha_{t}\alpha_{t-1}\alpha_{t-2}}\boldsymbol{\epsilon}_{t-3}$ $\displaystyle=\vdots$ $\displaystyle=\sqrt{\prod_{i=1}^{t}\alpha_{i}}\mathbf{x}_{0}+\sqrt{1-\prod_{i=1}^{t}\alpha_{i}}\boldsymbol{\epsilon}_{0}.$ (23) So, if we define $\overline{\alpha}_{t}=\prod_{i=1}^{t}\alpha_{i}$, we can show that $\displaystyle\mathbf{x}_{t}=\sqrt{\overline{\alpha}_{t}}\mathbf{x}_{0}+\sqrt{1-\overline{\alpha}_{t}}\boldsymbol{\epsilon}_{0}.$ (24) In other words, the distribution $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})$ is $\displaystyle\mathbf{x}_{t}\sim q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})=\mathcal{N}(\mathbf{x}_{t}\,|\,\sqrt{\overline{\alpha}_{t}}\mathbf{x}_{0},\;\;(1-\overline{\alpha}_{t})\mathbf{I}).$ (25)

새로운 분포 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})$의 효용은 체인 $\mathbf{x}_{0}\rightarrow\mathbf{x}_{1}\rightarrow\ldots\rightarrow\mathbf{x}_$에 비해 그 원샷 포워드 확산 단계이다. 순방향 확산 모델의 모든 단계에서, 우리는 이미 $\mathbf{x}_{0}$를 알고 있고, 모든 서브시퀀스 천이가 가우시안이라고 가정하기 때문에, 임의의 $t$에 대해 바로 $\mathbf{x}_{t}$를 알 것이다. 상황은 11로부터 이해할 수 있다.

도 11:The difference between $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})$ and $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})$.

Report issue for preceding element

Example. For a Gaussian mixture model such that $\mathbf{x}\sim p_{0}(\mathbf{x})=\sum_{k=1}^{K}\pi_{k}\mathcal{N}(\mathbf{x}|\boldsymbol{\mu}_{k},\sigma_{k}^{2}\mathbf{I})$, we can show that the distribution at time $t$ is $\displaystyle p_{t}(\mathbf{x})$ $\displaystyle=\sum_{k=1}^{K}\pi_{k}\mathcal{N}(\mathbf{x}\;|\;\sqrt{\overline{\alpha}_{t}}\boldsymbol{\mu}_{k},(1-\overline{\alpha}_{t})\mathbf{I}+\overline{\alpha}_{t}\sigma_{k}^{2}\mathbf{I})$ (26) $\displaystyle=\sum_{k=1}^{K}\pi_{k}\mathcal{N}(\mathbf{x}\;|\;\sqrt{\alpha^{t}}\boldsymbol{\mu}_{k},(1-\alpha^{t})\mathbf{I}+\alpha^{t}\sigma_{k}^{2}\mathbf{I}),\qquad\text{if }\;\alpha_{t}=\alpha\;\;\text{so that }\;\overline{\alpha}_{t}=\prod_{i=1}^{t}\alpha=\alpha^{t}.$

확률 분포 $p_{t}$가 시간에 따라 어떻게 진화하는지 궁금하다면 $t$ 12에서 분포의 궤적을 보여준다. $t=0$에 있을 때 초기 분포는 두 개의 Gaussians가 혼합되어 있음을 알 수 있다. Eqn(26)에서 정의된 전이를 따라 진행함에 따라 분포가 점차 단일 가우시안 $\mathcal{N}(0,1)$가 됨을 알 수 있다.

그림 12: Trajectory plot of the Gaussian mixture, we progress to transit the probability distribution to $\mathcal{N}(0,1)$.

Report issue for preceding element

동일한 플롯에서, 우리는 시간 $t$의 함수로서 랜덤 샘플 $\mathbf{x}_{t}$의 몇 개의 순간 궤적을 오버레이하여 보여준다. 샘플을 생성하는 데 사용한 방정식은

$$\mathbf{x}_{t}=\sqrt{\alpha_{t}}\mathbf{x}_{t-1}+\sqrt{1-\alpha_{t}}\boldsymbol{\epsilon}_{t-1},\qquad\boldsymbol{\epsilon}\sim\mathcal{N}(0,\mathbf{I}).$$

보시다시피, $\mathbf{x}_{t}$의 궤적은 분포 $p_{t}(\mathbf{x})$를 다소 따른다.

2.4 Evidence Lower Bound

Report issue for preceding element

이제 변분 확산 모델의 구조를 이해했으니, 우리는 ELBO를 적어서 모델을 훈련시킬 수 있다. 변이 확산 모델용 ELBO는

Reconstruction. 재구성 용어는 초기 블록을 기반으로 한다. 로그-우도 $p_{\boldsymbol{\theta}}(\mathbf{x}_{0}|\mathbf{x}_{1})$를 이용하여 $p_{\boldsymbol{\theta}}$와 연관된 신경망이 잠재변수 $\mathbf{x}_{1}$로부터 이미지 $\mathbf{x}_{0}$를 얼마나 잘 복구할 수 있는지를 측정한다. 기대는 $\mathbf{x}_{1}$를 생성하는 분포인 $q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})$로부터 도출된 샘플에 대하여 취해진다. 우리가 $q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})$로부터 샘플을 끌어내고자 하는 이유에 대해 어리둥절하다면, 샘플 $\mathbf{x}_{1}$가 어디에서 와야 하는지에 대해 생각해보자. 샘플 $\mathbf{x}_{1}$는 하늘에서 오는 것이 아니다. 이들은 중간 잠재 변수이기 때문에, 순방향 천이에 의해 created $q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})$이다. 따라서 $q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})$로부터 샘플을 생성해야 한다.

Prior Matching. The prior matching term is based on the final block. We use KL divergence to measure the difference between $q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})$ and $p(\mathbf{x}_{T})$. The first distribution $q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})$ is the forward transition from $\mathbf{x}_{T-1}$ to $\mathbf{x}_{T}$. This is how $\mathbf{x}_{T}$ is generated. The second distribution is $p(\mathbf{x}_{T})$. Because of our laziness, $p(\mathbf{x}_{T})$ is $\mathcal{N}(0,\mathbf{I})$. We want $q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})$ to be as close to $\mathcal{N}(0,\mathbf{I})$ as possible. The samples here are $\mathbf{x}_{T-1}$ which are drawn from $q_{\boldsymbol{\phi}}(\mathbf{x}_{T-1}|\mathbf{x}_{0})$ because $q_{\boldsymbol{\phi}}(\mathbf{x}_{T-1}|\mathbf{x}_{0})$ provides the forward sample generation process.

Report issue for preceding element

Consistency. 일관성 항은 전이 블록을 기반으로 합니다. 두 가지 방법이 있습니다. 순방향 전이는 분포 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})$에 의해 결정되는 반면, 역방향 전이는 뉴럴 네트워크 $p_{\boldsymbol{\theta}}(\mathbf{x}_{t}|\mathbf{x}_{t+1})$에 의해 결정된다. 일관성 항은 KL 발산을 사용하여 편차를 측정합니다. 기대는 공동 분포 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1},\mathbf{x}_{t+1}|\mathbf{x}_{0})$로부터 도출된 샘플 $(\mathbf{x}_{t-1},\mathbf{x}_{t+1})$에 대하여 취해진다. 아, $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1},\mathbf{x}_{t+1}|\mathbf{x}_{0})$란? 걱정 마 곧 처리하겠습니다.

현재, 우리는 이 공식이 실행될 준비가 되지 않았기 때문에 훈련과 추론을 건너뛸 것이다. 한 가지 묘기를 더 논의한 다음 구현에 대해 이야기할 것입니다.

Proof of Eqn (27). Let’s define the following notation: $\mathbf{x}_{0:T}=\{\mathbf{x}_{0},\ldots,\mathbf{x}_{T}\}$ means the collection of all state variables from $t=0$ to $t=T$. We also recall that the prior distribution $p(\mathbf{x})$ is the distribution for the image $\mathbf{x}_{0}$. So it is equivalent to $p(\mathbf{x}_{0})$. With these in mind, we can show that $\displaystyle\log p(\mathbf{x})$ $\displaystyle=\log p(\mathbf{x}_{0})$ $\displaystyle=\log\int p(\mathbf{x}_{0:T})d\mathbf{x}_{1:T}$ Marginalize by integrating over $\mathbf{x}_{1:T}$ $\displaystyle=\log\int p(\mathbf{x}_{0:T})\frac{{\color[rgb]{0,0,1}q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}}{{\color[rgb]{0,0,1}q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}}d\mathbf{x}_{1:T}$ Multiply and divide $q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})$ $\displaystyle=\log\int{\color[rgb]{0,0,1}q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\frac{p(\mathbf{x}_{0:T})}{{\color[rgb]{0,0,1}q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}}\right]d\mathbf{x}_{1:T}$ Rearrange terms $\displaystyle=\log\mathbb{E}_{{\color[rgb]{0,0,1}q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}}\left[\frac{p(\mathbf{x}_{0:T})}{{\color[rgb]{0,0,1}q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}}\right]$ $\displaystyle\text{Definition of expectation}.$ Now, we need to use Jensen’s inequality, which states that for any random variable $X$ and any concave function $f$, it holds that $f(\mathbb{E}[X])\geq\mathbb{E}[f(X)]$. By recognizing that $f(\cdot)=\log(\cdot)$, we can show that $\displaystyle\log p(\mathbf{x})$ $\displaystyle=\log\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\frac{p(\mathbf{x}_{0:T})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\right]$ $\displaystyle\geq\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{0:T})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\right]$ (28) Let’s take a closer look at $p(\mathbf{x}_{0:T})$. Inspecting Figure 8, we notice that if we want to decouple $p(\mathbf{x}_{0:T})$, we should do conditioning for $\mathbf{x}_{t-1}|\mathbf{x}_{t}$. This leads to: $\displaystyle p(\mathbf{x}_{0:T})=p(\mathbf{x}_{T})\prod_{t=1}^{T}p(\mathbf{x}_{t-1}|\mathbf{x}_{t})=p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1})\prod_{t=2}^{T}p(\mathbf{x}_{t-1}|\mathbf{x}_{t}).$ (29) As for $q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})$, Figure 8 suggests that we need to do the conditioning for $\mathbf{x}_{t}|\mathbf{x}_{t-1}$. However, because of the sequential relationship, we can write $\displaystyle q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})$ $\displaystyle=\prod_{t=1}^{T}q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})=q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})\prod_{t=1}^{T-1}q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1}).$ (30) Substituting Eqn (29) and Eqn (30) back to Eqn (28), we can show that $\displaystyle\log p(\mathbf{x})$ $\displaystyle\geq\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{0:T})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\right]$ $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{{\color[rgb]{0,0,1}p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1})\prod_{t=2}^{T}p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}}{{\color[rgb]{0,0,1}q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})\prod_{t=1}^{T-1}q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})}}\right]$ $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1}){\color[rgb]{0,0,1}\prod_{t=1}^{T-1}p(\mathbf{x}_{t}|\mathbf{x}_{t+1})}}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})\prod_{t=1}^{T-1}q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})}\right]$ shift $t$ to $t+1$ $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})}\right]+\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\prod_{t=1}^{T-1}\frac{p(\mathbf{x}_{t}|\mathbf{x}_{t+1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})}\right]$ split expectation The first term above can be further decomposed into two expectations $\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})}\right]$ $\displaystyle=\underset{\text{Reconstruction}}{\underbrace{\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\bigg{[}\log p(\mathbf{x}_{0}|\mathbf{x}_{1})\bigg{]}}}+\underset{\text{Prior Matching}}{\underbrace{\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})}\right]}}.$ The Reconstruction term can be simplified as $\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\bigg{[}\log p(\mathbf{x}_{0}|\mathbf{x}_{1})\bigg{]}$ $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})}\bigg{[}\log p(\mathbf{x}_{0}|\mathbf{x}_{1})\bigg{]},$ where we used the fact that the conditioning $\mathbf{x}_{1:T}|\mathbf{x}_{0}$ is equivalent to $\mathbf{x}_{1}|\mathbf{x}_{0}$. The Prior Matching term is $\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})}\right]$ $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{T},\mathbf{x}_{T-1}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})}\right]$ $\displaystyle=-\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{T-1},\mathbf{x}_{T}|\mathbf{x}_{0})}\Bigg{[}\mathbb{D}_{\text{KL}}\left(q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})\|p(\mathbf{x}_{T})\right)\Bigg{]},$ where we notice that the conditional expectation can be simplified to samples $\mathbf{x}_{T}$ and $\mathbf{x}_{T-1}$ only, because $\log\frac{p(\mathbf{x}_{T})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{T-1})}$ only depends on $\mathbf{x}_{T}$ and $\mathbf{x}_{T-1}$. Finally, we look at the product term. We can show that $\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\prod_{t=1}^{T-1}\frac{p(\mathbf{x}_{t}|\mathbf{x}_{t+1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})}\right]$ $\displaystyle=\sum_{t=1}^{T-1}\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{t}|\mathbf{x}_{t+1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})}\right]$ $\displaystyle=\sum_{t=1}^{T-1}\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1},\mathbf{x}_{t},\mathbf{x}_{t+1}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{t}|\mathbf{x}_{t+1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})}\right]$ $\displaystyle=\underset{\text{consistency}}{\underbrace{-\sum_{t=1}^{T-1}\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1},\mathbf{x}_{t+1}|\mathbf{x}_{0})}\Bigg{[}\mathbb{D}_{\text{KL}}\left(q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})\|p(\mathbf{x}_{t}|\mathbf{x}_{t+1})\right)\Bigg{]}}}.$ By replacing $p(\mathbf{x}_{0}|\mathbf{x}_{1})$ with $p_{\boldsymbol{\theta}}(\mathbf{x}_{0}|\mathbf{x}_{1})$ and $p(\mathbf{x}_{t}|\mathbf{x}_{t+1})$ with $p_{\boldsymbol{\theta}}(\mathbf{x}_{t}|\mathbf{x}_{t+1})$, we are done.

2.5 Rewrite the Consistency Term

Report issue for preceding element

위 변동 확산 모델의 악몽은 공동 분포 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1},\mathbf{x}_{t+1}|\mathbf{x}_{0})$로부터 샘플 $(\mathbf{x}_{t-1},\mathbf{x}_{t+1})$를 끌어낼 필요가 있다는 것이다. 우리는 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1},\mathbf{x}_{t+1}|\mathbf{x}_{0})$가 무엇인지 모른다! 음, 물론 가우시안이지만, 여전히 우리는 현재 샘플 $\mathbf{x}_{t}$를 그리기 위해 미래의 샘플 $\mathbf{x}_{t+1}$를 사용할 필요가 있다. 이것은 이상하고 재미가 없다.

일관성 항을 검사하면 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1})$와 $p_{\boldsymbol{\theta}}(\mathbf{x}_{t}|\mathbf{x}_{t+1})$가 두 개의 반대 방향을 따라 이동하고 있음을 알 수 있다. 따라서, $\mathbf{x}_{t-1}$ 및 $\mathbf{x}_{t+1}$를 사용할 필요가 있는 것은 불가피하다. 우리가 질문해야 할 질문은 우리가 일관성을 확인할 수 있는 동안 서로 다른 두 방향을 다룰 필요가 없도록 무언가를 생각해낼 수 있는가이다.

자, 여기 베이즈 정리라고 불리는 간단한 요령이 있습니다.

$$q(\mathbf{x}_{t}|\mathbf{x}_{t-1})=\frac{q(\mathbf{x}_{t-1}|\mathbf{x}_{t})q(\mathbf{x}_{t})}{q(\mathbf{x}_{t-1})}\quad\overset{\text{\scriptsize{condition on $\mathbf{x}_{0}$}}}{\Longrightarrow}\quad q(\mathbf{x}_{t}|\mathbf{x}_{t-1},{\color[rgb]{0,0,1}\mathbf{x}_{0}})=\frac{q(\mathbf{x}_{t-1}|\mathbf{x}_{t},{\color[rgb]{0,0,1}\mathbf{x}_{0}})q(\mathbf{x}_{t}|{\color[rgb]{0,0,1}\mathbf{x}_{0}})}{q(\mathbf{x}_{t-1}|{\color[rgb]{0,0,1}\mathbf{x}_{0}})}.$$ (31)

With this change of the conditioning order, we can switch $q(\mathbf{x}_{t}|\mathbf{x}_{t-1},\mathbf{x}_{0})$ to $q(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$ by adding one more condition variable $\mathbf{x}_{0}$. The direction $q(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$ is now parallel to $p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})$ as shown in Figure 13. So, if we want to rewrite the consistency term, a natural option is to calculate the KL divergence between $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$ and $p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})$.

Report issue for preceding element

도 13:Eqn에서 Bayes 정리를 고려하면(31), $p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})$와 평행한 방향을 갖는 분포 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$를 정의할 수 있다.

Report issue for preceding element

만약 우리가 몇몇 (boring) 대수적 유도체를 통과한다면, 우리는 ELBO가 지금이라는 것을 보여줄 수 있다: The ELBO for a variational diffusion model is

Reconstruction. 새로운 재구성 용어는 이전과 동일합니다. 우리는 여전히 로그 가능성을 최대화하고 있다.

Prior Matching. 새로운 사전 매칭은 $q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{0})$와 $p(\mathbf{x}_{T})$ 사이의 KL 발산으로 단순화된다. 그 변화는 우리가 지금 $\mathbf{x}_{0}$를 조건으로 하고 있다는 사실 때문이다. 따라서, $q_{\boldsymbol{\phi}}(\mathbf{x}_{T-1}|\mathbf{x}_{0})$로부터 샘플을 끌어와 기대치를 취할 필요가 없다.

Consistency. 새로운 일관성 항은 이전 항과 두 가지 면에서 다르다. 먼저, 실행중인 인덱스 $t$는 $t=2$에서 시작하고 $t=T$에서 종료한다. 이전에는 $t=1$부터 $t=T-1$까지였다. 이와 함께 분포 매칭이 있는데, 이는 이제 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$와 $p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})$ 사이에 있다. 그래서, 순방향 천이를 역방향 천이와 매칭하도록 요구하는 대신에, $q_{\boldsymbol{\phi}}$를 이용하여 역방향 천이를 구성하고, 이를 이용하여 $p_{\boldsymbol{\theta}}$와 매칭시킨다.

Proof of Eqn (32). We begin with Eqn (28) by showing that $\displaystyle\log p(\mathbf{x})$ $\displaystyle\geq\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{0:T})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\right]$ By Eqn (28) $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1})\prod_{t=2}^{T}p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})\prod_{t=2}^{T}q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1},\mathbf{x}_{0})}\right]$ split the chain $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})}\right]+\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\prod_{t=2}^{T}\frac{p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1},\mathbf{x}_{0})}\right]$ (33) Let’s consider the second term: $\displaystyle\prod_{t=2}^{T}\frac{p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1},\mathbf{x}_{0})}$ $\displaystyle=\prod_{t=2}^{T}\frac{p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{\frac{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{0})}}$ Bayes rule, Eqn (31) $\displaystyle=\prod_{t=2}^{T}\frac{p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})}\times\prod_{t=2}^{T}\frac{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{0})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{0})}$ Rearrange denominator $\displaystyle=\prod_{t=2}^{T}\frac{p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})}\times\frac{q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{0})},$ Recursion cancels terms where the last equation uses the fact that for any sequence $a_{1},\ldots,a_{T}$, we have $\prod_{t=2}^{T}\frac{a_{t-1}}{a_{t}}=\frac{a_{1}}{a_{2}}\times\frac{a_{2}}{a_{3}}\times\ldots\times\frac{a_{T-1}}{a_{T}}=\frac{a_{1}}{a_{T}}$. Going back to the Eqn (33), we can see that $\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})}\right]+\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\prod_{t=2}^{T}\frac{p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t}|\mathbf{x}_{t-1},\mathbf{x}_{0})}\right]$ $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})}+\log\frac{q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{0})}\right]+\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\prod_{t=2}^{T}\frac{p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})}\right]$ $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{0})}\right]+\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\prod_{t=2}^{T}\frac{p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})}\right],$ where we canceled $q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})$ in the numerator and denominator since $\log\frac{a}{b}+\log\frac{b}{c}=\log\frac{a}{c}$ for any positive constants $a$, $b$, and $c$. This will give us $\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})p(\mathbf{x}_{0}|\mathbf{x}_{1})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{0})}\right]$ $\displaystyle=\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log p(\mathbf{x}_{0}|\mathbf{x}_{1})\right]+\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\frac{p(\mathbf{x}_{T})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{0})}\right]$ $\displaystyle=\underset{\text{reconstruction}}{\underbrace{\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1}|\mathbf{x}_{0})}\left[\log p(\mathbf{x}_{0}|\mathbf{x}_{1})\right]}}-\underset{\text{prior matching}}{\underbrace{\mathbb{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\mathbf{x}_{T}|\mathbf{x}_{0})\|p(\mathbf{x}_{T}))}}.$ The last term is $\displaystyle\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{1:T}|\mathbf{x}_{0})}\left[\log\prod_{t=2}^{T}\frac{p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})}\right]$ $\displaystyle=\sum_{t=2}\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{t},\mathbf{x}_{t-1}|\mathbf{x}_{0})}\log\frac{p(\mathbf{x}_{t-1}|\mathbf{x}_{t})}{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})}$ $\displaystyle=-\underset{\text{consistency}}{\underbrace{\sum_{t=2}\mathbb{E}_{q_{\boldsymbol{\phi}}(\mathbf{x}_{t},\mathbf{x}_{t-1}|\mathbf{x}_{0})}\mathbb{D}_{\text{KL}}(q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})\|p(\mathbf{x}_{t-1}|\mathbf{x}_{t}))}}.$ Finally, replace $p(\mathbf{x}_{t-1}|\mathbf{x}_{t})$ by $p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})$, and $p(\mathbf{x}_{0}|\mathbf{x}_{1})$ by $p_{\boldsymbol{\theta}}(\mathbf{x}_{0}|\mathbf{x}_{1})$. Done!

2.6 Derivation of $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$

Report issue for preceding element

이제 변분 확산 모델을 위한 새로운 ELBO를 알았으므로, 우리는 그것의 핵심 구성 요소인 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$에 대해 논의하는 데 약간의 시간을 보내야 한다. 간단히 말해서, 우리가 보여주고 싶은 것은

• $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$는 생각보다 미치지 못한다. 그것은 여전히 가우시안이다.

• 가우시안이기 때문에 평균과 공분산이 완전히 특징이다. 알고 보니

  $$q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})=\mathcal{N}(\mathbf{x}_{t-1}\,|\,\heartsuit\mathbf{x}_{t}+\spadesuit\mathbf{x}_{0},\clubsuit\mathbf{I}),$$ (34)

  for some magical scalars $\heartsuit$, $\spadesuit$ and $\clubsuit$ defined below.

  Report issue for preceding element

The distribution $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$ takes the form of $$q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})=\mathcal{N}(\mathbf{x}_{t-1}\,|\,\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0}),\boldsymbol{\Sigma}_{q}(t)),$$ (35) where $\displaystyle\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0})$ $\displaystyle=\frac{(1-\overline{\alpha}_{t-1})\sqrt{\alpha_{t}}}{1-\overline{\alpha}_{t}}\mathbf{x}_{t}+\frac{(1-\alpha_{t})\sqrt{\overline{\alpha}_{t-1}}}{1-\overline{\alpha}_{t}}\mathbf{x}_{0}$ (36) $\displaystyle\boldsymbol{\Sigma}_{q}(t)$ $\displaystyle=\frac{(1-\alpha_{t})(1-\sqrt{\overline{\alpha}_{t-1}})}{1-\overline{\alpha}_{t}}\mathbf{I}\overset{\text{def}}{=}\sigma_{q}^{2}(t)\mathbf{I}.$ (37)

Eqn(35)의 흥미로운 부분은 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$가 completely characterized by $\mathbf{x}_{t}$ and $\mathbf{x}_{0}$이다. 평균과 분산을 추정하는 데 필요한 신경망이 없습니다! (네트워크가 필요한 VAE와 비교할 수 있습니다.) 네트워크가 필요하지 않기 때문에 실제로 “학습”할 것이 없습니다. $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$는 $\mathbf{x}_{t}$와 $\mathbf{x}_{0}$를 알면 자동으로 결정된다. 추측도, 추정도, 아무것도 없다.

여기서의 깨달음은 중요하다. 일관성 항을 살펴보면, $t$번째 항이 있는 많은 KL 발산 항들의 합이다.

$$\mathbb{D}_{\text{KL}}(\underset{\quad\text{nothing to learn}\quad}{\underbrace{q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})}}\|\underset{\text{need to do something}}{\underbrace{p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})}}).$$ (38)

우리가 방금 말한 것처럼 $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$와는 아무런 관계가 없다. 그러나 우리는 KL 발산을 계산할 수 있도록 $p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})$에 무언가를 해야 한다.

그럼 어떻게 할까요? $q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$는 가우시안인 것을 알고 있다. KL 발산을 빠르게 계산하려면 분명히 assume $p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})$도 가우시안일 필요가 있다. 그래, 정말이야 우리는 그것이 왜 가우시안인지 정당화할 수 없다. 그러나 $p_{\boldsymbol{\theta}}$는 분포이기 때문에 choose은 물론 더 쉬운 것을 선택해야 한다. 이를 위해 우리는

$$p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})=\mathcal{N}\Big{(}\mathbf{x}_{t-1}|\underset{\text{neural network}}{\underbrace{\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})}},\sigma_{q}^{2}(t)\mathbf{I}\Big{)},$$ (39)

여기서 우리는 평균 벡터가 신경망을 사용하여 결정될 수 있다고 가정한다. 분산으로는 choose는 $\sigma_{q}^{2}(t)$가 될 분산이다. 이것은 identical to Eqn (37)이다! 따라서, Eqn(35)을 $p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})$와 나란히 놓으면, 우리는 둘 사이의 병렬 관계에 주목한다:

$$q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0}) =\mathcal{N}\Big{(}\mathbf{x}_{t-1}\,|\,\underset{\text{known}}{\underbrace{\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0})}},\underset{\text{known}}{\underbrace{\sigma_{q}^{2}(t)\mathbf{I}}}\Big{)},$$ (40)

$$p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t}) =\mathcal{N}\Big{(}\mathbf{x}_{t-1}|\underset{\text{neural network}}{\underbrace{\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})}},\underset{\text{known}}{\underbrace{\sigma_{q}^{2}(t)\mathbf{I}}}\Big{)}.$$ (41)

따라서, KL 발산은 이하와 같이 단순화된다.

$$\mathbb{D}_{\text{KL}}\Big{(}q_{\boldsymbol{\phi}}(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})\|p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})\Big{)}$$

$$=\mathbb{D}_{\text{KL}}\Big{(}\mathcal{N}(\mathbf{x}_{t-1}\,|\,\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0}),\sigma_{q}^{2}(t)\mathbf{I})\|\mathcal{N}(\mathbf{x}_{t-1}\,|\,\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t}),\sigma_{q}^{2}(t)\mathbf{I})\Big{)}$$

$$=\frac{1}{2\sigma_{q}^{2}(t)}\|\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0})-\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})\|^{2},$$ (42)

여기서 우리는 두 개의 동일한 분산 가우스시안 사이의 KL 발산이 두 평균 벡터 사이의 유클리드 거리 제곱이라는 사실을 사용했다.

Eqn에서 ELBO의 정의로 돌아가면(32), 이를 다시 쓸 수 있다.

$$\text{ELBO}_{\boldsymbol{\theta}}(\mathbf{x}) =\mathbb{E}_{q(\mathbf{x}_{1}|\mathbf{x}_{0})}[\log p_{\boldsymbol{\theta}}(\mathbf{x}_{0}|\mathbf{x}_{1})]-\underset{\text{nothing to train}}{\underbrace{\mathbb{D}_{\text{KL}}\Big{(}q(\mathbf{x}_{T}|\mathbf{x}_{0})\|p(\mathbf{x}_{T})\Big{)}}}$$

$$\qquad-\sum_{t=2}^{T}\mathbb{E}_{q(\mathbf{x}_{t}|\mathbf{x}_{0})}\Big{[}\frac{1}{2\sigma_{q}^{2}(t)}\|\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0})-\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})\|^{2}\Big{]}.$$ (43)

몇 가지 관찰이 흥미롭습니다.

• $q$는 $\mathbf{x}_{0}$를 아는 한 완전히 기술되어 있기 때문에, 모든 첨자 $\boldsymbol{\phi}$를 탈락시켰다. 우리는 단지 $\mathbf{x}_{1},\ldots,\mathbf{x}_{T}$ 각각에 백색 잡음을 추가(다른 수준의)하고 있을 뿐이다. 이것은 우리가 $\boldsymbol{\theta}$에 대해 최적화하기만 하면 되는 ELBO를 우리에게 줄 것이다.

• 파라미터 $\boldsymbol{\theta}$는 네트워크 $\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})$를 통해 실현된다. $\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})$에 대한 네트워크 가중치이다.

• The sampling from $q(\mathbf{x}_{t}|\mathbf{x}_{0})$ is done according to Eqn (21) which states that $q(\mathbf{x}_{t}|\mathbf{x}_{0})=\mathcal{N}(\mathbf{x}_{t}|\sqrt{\overline{$.

  Report issue for preceding element

• $\mathbf{x}_{t}\sim q(\mathbf{x}_{t}|\mathbf{x}_{0})$가 주어지면, 우리는 $\log p_{\boldsymbol{\theta}}(\mathbf{x}_{0}|\mathbf{x}_{1})$를 계산할 수 있는데, 이는 단지 $\log\mathcal{N}(\mathbf{x}_{0}|\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{$이다. 그래서 $\mathbf{x}_{1}$를 아는 즉시 네트워크 $\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{1})$에 전송하여 평균 추정치를 반환할 수 있다. 그런 다음 평균 추정치를 사용하여 우도를 계산합니다.

우리가 더 내려가기 전에, Eqn (35)이 어떻게 결정되었는지 논의함으로써 이야기를 완성하자.

Proof of Eqn (35). Using the Bayes theorem stated in Eqn (31), $q(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})$ can be determined if we evaluate the following product of Gaussians $$q(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})=\frac{\mathcal{N}(\mathbf{x}_{t}|\sqrt{\alpha_{t}}\mathbf{x}_{t-1},(1-\alpha_{t})\mathbf{I})\mathcal{N}(\mathbf{x}_{t-1}|\sqrt{\overline{\alpha}_{t-1}},(1-\overline{\alpha}_{t-1}\mathbf{I}))}{\mathcal{N}(\mathbf{x}_{t}|\sqrt{\overline{\alpha}_{t}}\mathbf{x}_{0},(1-\overline{\alpha}_{t})\mathbf{I})}.$$ (44) For simplicity we will treat the vectors are scalars. Then the above product of Gaussians will become $$q(\mathbf{x}_{t-1}|\mathbf{x}_{t},\mathbf{x}_{0})\propto\exp\left\{\frac{(\mathbf{x}_{t}-\sqrt{\alpha_{t}}\mathbf{x}_{t-1})^{2}}{2(1-\alpha_{t})}+\frac{(\mathbf{x}_{t-1}-\sqrt{\overline{\alpha}_{t-1}}z)^{2}}{2(1-\overline{\alpha}_{t-1})}-\frac{(\mathbf{x}_{t}-\sqrt{\overline{\alpha}_{t}}\mathbf{x}_{0})^{2}}{2(1-\overline{\alpha}_{t})}\right\}.$$ (45) We consider the following mapping: $\displaystyle x$ $\displaystyle=\mathbf{x}_{t},$ $\displaystyle a=\alpha_{t}$ $\displaystyle y$ $\displaystyle=\mathbf{x}_{t-1},$ $\displaystyle b=\overline{\alpha}_{t-1}$ $\displaystyle z$ $\displaystyle=\mathbf{x}_{0},$ $\displaystyle c=\overline{\alpha}_{t}.$ Consider a quadratic function $$f(y)=\frac{(x-\sqrt{a}y)^{2}}{2(1-a)}+\frac{(y-\sqrt{b}z)^{2}}{2(1-b)}-\frac{(x-\sqrt{c}z)^{2}}{2(1-c)}.$$ (46) We know that no matter how we rearrange the terms, the resulting function remains a quadratic equation. The minimizer of $f(y)$ is the mean of the resulting Gaussian. So, we can calculate the derivative of $f$ and show that $\displaystyle f^{\prime}(y)=\frac{1-ab}{(1-a)(1-b)}y-\left(\frac{\sqrt{a}}{1-a}x+\frac{\sqrt{b}}{1-b}z\right).$ Setting $f^{\prime}(y)=0$ yields $$y=\frac{(1-b)\sqrt{a}}{1-ab}x+\frac{(1-a)\sqrt{b}}{1-ab}z.$$ (47) We note that $ab=\alpha_{t}\overline{\alpha}_{t-1}=\overline{\alpha}_{t}$. So, $$\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0})=\frac{(1-\overline{\alpha}_{t-1})\sqrt{\alpha_{t}}}{1-\overline{\alpha}_{t}}\mathbf{x}_{t}+\frac{(1-\alpha_{t})\sqrt{\overline{\alpha}_{t-1}}}{1-\overline{\alpha}_{t}}\mathbf{x}_{0}.$$ (48) Similarly, for the variance, we can check the curvature $f^{\prime\prime}(y)$. We can easily show that $$f^{\prime\prime}(y)=\frac{1-ab}{(1-a)(1-b)}=\frac{1-\overline{\alpha}_{t}}{(1-\alpha_{t})(1-\sqrt{\overline{\alpha}_{t-1}})}.$$ Taking the reciprocal will give us $$\boldsymbol{\Sigma}_{q}(t)=\frac{(1-\alpha_{t})(1-\sqrt{\overline{\alpha}_{t-1}})}{1-\overline{\alpha}_{t}}\mathbf{I}.$$ (49)

2.7 Training and Inference

Report issue for preceding element

Eqn(43)의 ELBO는 우리가 어떻게든 이러한 손실을 최소화할 수 있는 네트워크 $\boldsymbol{\mu}_{\boldsymbol{\theta}}$를 찾아야 함을 시사한다:

$$\frac{1}{2\sigma_{q}^{2}(t)}\|\underset{\text{known}}{\underbrace{\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0})}}-\underset{\text{network}}{\underbrace{\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})}}\|^{2}.\$$ (50)

그러나 "디노이징" 개념은 어디에서 비롯됩니까?

이를 보기 위해 우리는 Eqn(36)에서 회상한다.

$$\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0})=\frac{(1-\overline{\alpha}_{t-1})\sqrt{\alpha_{t}}}{1-\overline{\alpha}_{t}}\mathbf{x}_{t}+\frac{(1-\alpha_{t})\sqrt{\overline{\alpha}_{t-1}}}{1-\overline{\alpha}_{t}}\mathbf{x}_{0}.$$ (51)

$\boldsymbol{\mu}_{\boldsymbol{\theta}}$는 우리의 design이기 때문에 더 편리한 것으로 정의할 수 없는 이유는 없다. 그래서 여기 옵션이 있습니다.

$$\underset{\text{a network}}{\underbrace{\boldsymbol{\mu}_{\boldsymbol{\theta}}}}(\mathbf{x}_{t})\overset{\text{def}}{=}\frac{(1-\overline{\alpha}_{t-1})\sqrt{\alpha_{t}}}{1-\overline{\alpha}_{t}}\mathbf{x}_{t}+\frac{(1-\alpha_{t})\sqrt{\overline{\alpha}_{t-1}}}{1-\overline{\alpha}_{t}}\underset{\text{another network}}{\underbrace{\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})}}.$$ (52)

Eqn(51) 및 Eqn(52)을 Eqn(50)에 대입하면,

$$\frac{1}{2\sigma_{q}^{2}(t)}\|\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0})-\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})\|^{2} =\frac{1}{2\sigma_{q}^{2}(t)}\left\|\frac{(1-\alpha_{t})\sqrt{\overline{\alpha}_{t-1}}}{1-\overline{\alpha}_{t}}(\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})-\mathbf{x}_{0})\right\|^{2}$$

$$=\frac{1}{2\sigma_{q}^{2}(t)}\frac{(1-\alpha_{t})^{2}\overline{\alpha}_{t-1}}{(1-\overline{\alpha}_{t})^{2}}\left\|\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})-\mathbf{x}_{0}\right\|^{2}$$

따라서 ELBO를 단순화할 수 있다.

$$\text{ELBO}_{\boldsymbol{\theta}} =\mathbb{E}_{q(\mathbf{x}_{1}|\mathbf{x}_{0})}[\log p_{\boldsymbol{\theta}}(\mathbf{x}_{0}|\mathbf{x}_{1})]-\sum_{t=2}^{T}\mathbb{E}_{q(\mathbf{x}_{t}|\mathbf{x}_{0})}\Big{[}\frac{1}{2\sigma_{q}^{2}(t)}\|\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0})-\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})\|^{2}\Big{]}$$

$$=\mathbb{E}_{q(\mathbf{x}_{1}|\mathbf{x}_{0})}[\log p_{\boldsymbol{\theta}}(\mathbf{x}_{0}|\mathbf{x}_{1})]-\sum_{t=2}^{T}\mathbb{E}_{q(\mathbf{x}_{t}|\mathbf{x}_{0})}\Big{[}\frac{1}{2\sigma_{q}^{2}(t)}\frac{(1-\alpha_{t})^{2}\overline{\alpha}_{t-1}}{(1-\overline{\alpha}_{t})^{2}}\left\|\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})-\mathbf{x}_{0}\right\|^{2}\Big{]}.$$ (53)

첫 번째 항은

$$\log p_{\boldsymbol{\theta}}(\mathbf{x}_{0}|\mathbf{x}_{1}) =\log\mathcal{N}(\mathbf{x}_{0}|\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{1}),\sigma_{q}^{2}(1)\mathbf{I})\propto-\frac{1}{2\sigma_{q}^{2}(1)}\|\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{1})-\mathbf{x}_{0}\|^{2}$$ definition

$$=-\frac{1}{2\sigma_{q}^{2}(1)}\left\|\frac{(1-\overline{\alpha}_{0})\sqrt{\alpha_{1}}}{1-\overline{\alpha}_{1}}\mathbf{x}_{1}+\frac{(1-\alpha_{1})\sqrt{\overline{\alpha}_{0}}}{1-\overline{\alpha}_{1}}\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{1})-\mathbf{x}_{0}\right\|^{2} \alpha_{0}=1$$ recall

$$=-\frac{1}{2\sigma_{q}^{2}(1)}\left\|\frac{(1-\alpha_{1})}{1-\overline{\alpha}_{1}}\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{1})-\mathbf{x}_{0}\right\|^{2}=-\frac{1}{2\sigma_{q}^{2}(1)}\left\|\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{1})-\mathbf{x}_{0}\right\|^{2} \overline{\alpha}_{1}=\alpha_{1}$$ recall (54)

Eqn(54)을 Eqn(53)에 대입하면 ELBO는 다음과 같이 단순화된다.

$$\text{ELBO}_{\boldsymbol{\theta}}=-\sum_{t=1}^{T}\mathbb{E}_{q(\mathbf{x}_{t}|\mathbf{x}_{0})}\Big{[}\frac{1}{2\sigma_{q}^{2}(t)}\frac{(1-\alpha_{t})^{2}\overline{\alpha}_{t-1}}{(1-\overline{\alpha}_{t})^{2}}\left\|\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})-\mathbf{x}_{0}\right\|^{2}\Big{]}.$$

따라서, 신경망의 훈련은 단순 손실 함수: The loss function denoising diffusion probabilistic model:

Eqn(55)에 정의된 손실 함수는 매우 직관적이다. 특정 $\mathbf{x}_{t}$에 대한 주요 관심 주제인 상수와 기대를 무시하는 것은,

$$\mathop{\underset{\boldsymbol{\theta}}{\mbox{argmin}}}\;\;\left\|\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})-\mathbf{x}_{0}\right\|^{2}.$$

이는 노이즈 제거된 이미지 $\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})$가 Ground truth $\mathbf{x}_{0}$에 가까울 수 있도록 네트워크 $\widehat{\mathbf{x}}_{\boldsymbol{\theta}}$를 찾아야 하기 때문에 노이즈 제거 문제일 뿐이다. 전형적인 데노이스가 아닌 이유는

• $\mathbb{E}_{q(\mathbf{x}_{t}|\mathbf{x}_{0})}$: 임의의 랜덤 노이즈 이미지를 노이즈 제거하려고 하지 않는다. 대신, 우리는 시끄러운 이미지를 신중하게 선택하고 있다.

  $$\mathbf{x}_{t}\sim q(\mathbf{x}_{t}|\mathbf{x}_{0}) =\mathcal{N}(\mathbf{x}_{t}\,|\,\sqrt{\overline{\alpha}_{t}}\mathbf{x}_{0},\;\;(1-\overline{\alpha}_{t})\mathbf{I})$$

  $$=\sqrt{\overline{\alpha}_{t}}\mathbf{x}_{0}+\sqrt{(1-\overline{\alpha}_{t})}\mathbf{z},\qquad\mathbf{z}\sim\mathcal{N}(0,\mathbf{I}).$$

  여기서, "조심스럽다"는 것은 우리가 이미지에 주입하는 잡음의 양이 주의 깊게 조절된다는 것을 의미했다.

  

  Figure 14:Forward sampling process. 정방향 샘플링 프로세스는 원래 일련의 작업이다. 그러나 가우시안(Gaussian)을 가정하면 샘플링 과정을 1단계 데이터 생성으로 단순화할 수 있다.

  Report issue for preceding element

• $\frac{1}{2\sigma_{q}^{2}(t)}\frac{(1-\alpha_{t})^{2}\overline{\alpha}_{t-1}}{($: 모든 단계에 대해 동일하게 디노이징 손실을 가중하지 않는다. 대신에, 각각의 디노이징 손실에 대한 상대적인 강조를 제어하는 스케줄러가 있다. 그러나, 단순화를 위해, 우리는 이것들을 떨어뜨릴 수 있다. 그것은 사소한 영향을 끼친다.

• $\sum_{t=1}^{T}$: The summation can be replaced by a uniform distribution $t\sim\text{Uniform}[1,T]$.

  Report issue for preceding element

Training a Deniosing Diffusion Probabilistic Model. (Version: Predict image) For every image $\mathbf{x}_{0}$ in your training dataset: Repeat the following steps until convergence. • Pick a random time stamp $t\sim\text{Uniform}[1,T]$. • Draw a sample $\mathbf{x}_{t}\sim\mathcal{N}(\mathbf{x}_{t}\,|\,\sqrt{\overline{\alpha}_{t}}\mathbf{x}_{0},\;\;(1-\overline{\alpha}_{t})\mathbf{I})$, i.e., $$\mathbf{x}_{t}=\overline{\alpha}_{t}\mathbf{x}_{0}+\sqrt{(1-\overline{\alpha}_{t})}\mathbf{z},\qquad\mathbf{z}\sim\mathcal{N}(0,\mathbf{I}).$$ • Take gradient descent step on $$\nabla_{\boldsymbol{\theta}}\left\|\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})-\mathbf{x}_{0}\right\|^{2}$$ You can do this in batches, just like how you train any other neural networks. Note that, here, you are training one denoising network $\widehat{\mathbf{x}}_{\boldsymbol{\theta}}$ for all noisy conditions.

도 15:Denoising diffusion probabilistic model의 Training. 동일한 신경망 $\widehat{\mathbf{x}}_{\boldsymbol{\theta}}$에 대해, 우리는 잡음 입력 $\mathbf{x}_{t}$를 네트워크로 보낸다. 손실 기울기는 네트워크를 업데이트하기 위해 역전파된다. 노이즈 이미지는 임의적이지 않습니다. 이들은 순방향 샘플링 프로세스에 따라 생성된다.

Report issue for preceding element

일단 denoiser $\widehat{\mathbf{x}}_{\boldsymbol{\theta}}$가 훈련되면, 우리는 추론을 하기 위해 그것을 적용할 수 있다. 추론은 상태들 $\mathbf{x}_{T},\mathbf{x}_{T-1},\ldots,\mathbf{x}_{1}$의 시퀀스에 걸쳐 분포들 $p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})$로부터 이미지들을 샘플링하는 것에 관한 것이다. 역확산 과정이기 때문에 우리는 그것을 재귀적으로 해야 한다:

$$\mathbf{x}_{t-1}\sim p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}\,|\,\mathbf{x}_{t}) =\mathcal{N}(\mathbf{x}_{t-1}\,|\,\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t}),\sigma_{q}^{2}(t)\mathbf{I})$$

$$=\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})+\sigma_{q}^{2}(t)\mathbf{z},\qquad\qquad\qquad\text{where}\quad\mathbf{z}\sim\mathcal{N}(0,\mathbf{I})$$

$$=\frac{(1-\overline{\alpha}_{t-1})\sqrt{\alpha_{t}}}{1-\overline{\alpha}_{t}}\mathbf{x}_{t}+\frac{(1-\alpha_{t})\sqrt{\overline{\alpha}_{t-1}}}{1-\overline{\alpha}_{t}}\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})+\sigma_{q}(t)\mathbf{z}.$$

이는 다음과 같은 추론 알고리즘으로 이어진다.

Inference on a Deniosing Diffusion Probabilistic Model. (Version: Predict image) You give us a white noise vector $\mathbf{x}_{T}\sim\mathcal{N}(0,\mathbf{I})$. • Repeat the following for $t=T,T-1,\ldots,1$. • We calculate $\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})$ using our trained denoiser. • Update according to $\displaystyle\mathbf{x}_{t-1}$ $\displaystyle=\frac{(1-\overline{\alpha}_{t-1})\sqrt{\alpha_{t}}}{1-\overline{\alpha}_{t}}\mathbf{x}_{t}+\frac{(1-\alpha_{t})\sqrt{\overline{\alpha}_{t-1}}}{1-\overline{\alpha}_{t}}\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})+\sigma_{q}(t)\mathbf{z},\qquad\mathbf{z}\sim\mathcal{N}(0,\mathbf{I}).$ (56)

도 16:Denoising diffusion probabilistic model의 추론.

Report issue for preceding element

2.8 Derivation based on Noise Vector

Report issue for preceding element

노이즈 제거 문헌에 익숙하다면 신호 대신 잡음을 예측하는 레지듀 형태의 알고리즘을 알고 있을 것이다. 우리가 소음을 예측하는 법을 배울 수 있는 디노이징 확산에도 같은 정신이 적용된다. 이것이 왜 그런지를 보기 위해, 우리는 Eqn(24)을 고려한다. 우리가 얻을 조건을 다시 조정하면

$$\mathbf{x}_{t}=\sqrt{\overline{\alpha}_{t}}\mathbf{x}_{0}+\sqrt{1-\overline{\alpha}_{t}}\boldsymbol{\epsilon}_{0}$$

$$\Rightarrow\qquad \mathbf{x}_{0}=\frac{\mathbf{x}_{t}-\sqrt{1-\overline{\alpha}_{t}}\boldsymbol{\epsilon}_{0}}{\sqrt{\overline{\alpha}_{t}}}.$$

이를 $\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0})$에 대입하면, 우리는

$$\boldsymbol{\mu}_{q}(\mathbf{x}_{t},\mathbf{x}_{0}) =\frac{\sqrt{\alpha_{t}}(1-\overline{\alpha}_{t-1})\mathbf{x}_{t}+\sqrt{\overline{\alpha}_{t-1}}(1-\alpha_{t})\mathbf{x}_{0}}{1-\overline{\alpha}_{t}}$$

$$=\frac{\sqrt{\alpha_{t}}(1-\overline{\alpha}_{t-1})\mathbf{x}_{t}+\sqrt{\overline{\alpha}_{t-1}}(1-\alpha_{t})\cdot\frac{\mathbf{x}_{t}-\sqrt{1-\overline{\alpha}_{t}}\boldsymbol{\epsilon}_{0}}{\sqrt{\overline{\alpha}_{t}}}}{1-\overline{\alpha}_{t}}$$

$$=\text{a few more algebraic steps}$$

$$=\frac{1}{\sqrt{\alpha_{t}}}\mathbf{x}_{t}-\frac{1-\alpha_{t}}{\sqrt{1-\overline{\alpha}_{t}}\sqrt{\alpha}_{t}}\boldsymbol{\epsilon}_{0}.$$ (57)

따라서, design 우리의 평균 추정기 $\boldsymbol{\mu}_{\boldsymbol{\theta}}$ 양식에 맞게 자유롭게 선택할 수 있다:

$$\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})=\frac{1}{\sqrt{\alpha_{t}}}\mathbf{x}_{t}-\frac{1-\alpha_{t}}{\sqrt{1-\overline{\alpha}_{t}}\sqrt{\alpha}_{t}}\widehat{\boldsymbol{\epsilon}}_{\boldsymbol{\theta}}(\mathbf{x}_{t}).$$ (58)

Eqn(57)과 Eqn(58)을 Eqn(50)에 대입하면 우리에게 새로운 ELBO를 줄 것이다.

$$\text{ELBO}_{\boldsymbol{\theta}}=-\sum_{t=1}^{T}\mathbb{E}_{q(\mathbf{x}_{t}|\mathbf{x}_{0})}\Big{[}\frac{1}{2\sigma_{q}^{2}(t)}\frac{(1-\alpha_{t})^{2}\overline{\alpha}_{t-1}}{(1-\overline{\alpha}_{t})^{2}}\left\|\widehat{\boldsymbol{\epsilon}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})-\boldsymbol{\epsilon}_{0}\right\|^{2}\Big{]}.$$

따라서, $\mathbf{x}_{t}$를 주면, 예측 노이즈 $\widehat{\boldsymbol{\epsilon}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})$를 리턴할 것이다. 이를 통해 대체 학습 스킴이 제공됩니다. Training a Deniosing Diffusion Probabilistic Model (Version Predict noise) 훈련 데이터 세트의 모든 이미지 $\mathbf{x}_{0}$에 대해: 수렴할 때까지 다음 단계를 반복합니다. • Pick a random time stamp $t\sim\text{Uniform}[1,T]$. Draw a sample $\mathbf{x}_{t}\sim\mathcal{N}(\mathbf{x}_{t}\,|\,\sqrt{\overline{\alpha}_{t}}$, i.e.,

$$\mathbf{x}_{t-1}\sim p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}\,|\,\mathbf{x}_{t}) =\mathcal{N}(\mathbf{x}_{t-1}\,|\,\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t}),\sigma_{q}^{2}(t)\mathbf{I})$$

$$=\boldsymbol{\mu}_{\boldsymbol{\theta}}(\mathbf{x}_{t})+\sigma_{q}^{2}(t)\mathbf{z}$$

$$=\frac{1}{\sqrt{\alpha_{t}}}\mathbf{x}_{t}-\frac{1-\alpha_{t}}{\sqrt{1-\overline{\alpha}_{t}}\sqrt{\alpha}_{t}}\widehat{\boldsymbol{\epsilon}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})+\sigma_{q}(t)\mathbf{z}$$

$$=\frac{1}{\sqrt{\alpha_{t}}}\left(\mathbf{x}_{t}-\frac{1-\alpha_{t}}{\sqrt{1-\overline{\alpha}_{t}}}\widehat{\boldsymbol{\epsilon}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})\right)+\sigma_{q}(t)\mathbf{z}$$

Summarizing it here, we have Inference on a Deniosing Diffusion Probabilistic Model. (Version Predict noise) You give us a white noise vector $\mathbf{x}_{T}\sim\mathcal{N}(0,\mathbf{I})$. • Repeat the following for $t=T,T-1,\ldots,1$. • We calculate $\widehat{\mathbf{x}}_{\boldsymbol{\theta}}(\mathbf{x}_{t})$ using our trained denoiser. • Update according to $\displaystyle\mathbf{x}_{t-1}$ $\displaystyle=\frac{1}{\sqrt{\alpha_{t}}}\left(\mathbf{x}_{t}-\frac{1-\alpha_{$

Report issue for preceding element

2.9 Inversion by Direct Denoising (InDI)

Report issue for preceding element

DDPM 방정식을 살펴보면, 업데이트 Eqn(56)은 다음과 같은 형태를 취함을 알 수 있다:

$$\mathbf{x}_{t-1}=\Big{(}\text{something}\Big{)}\cdot\mathbf{x}_{t}+\Big{(}\text{something else}\Big{)}\cdot\text{denoise}(\mathbf{x}_{t})+\text{noise}.$$ (59)

즉, $(t-1)$-번째 추정치는 현재 추정치 $\mathbf{x}_{t}$, 노이즈 제거된 버전 $\text{denoise}(\mathbf{x}_{t})$ 및 노이즈 항의 세 항의 선형 조합이다. 현재 추정치와 잡음항은 이해하기 쉽다. 하지만 "디노이즈"는 무엇일까요? Delbracio와 Milanfar [6]의 흥미로운 논문은 순수 디노이징 관점에서 생성 확산 모델을 살펴보았다. 알고 보니, 이 놀랍도록 단순한 관점은 다른 더 발전된 확산 모델과 몇 가지 좋은 측면에서 일치한다.

What is $\text{denoise}(\mathbf{x}_{t})$? 노이즈 제거는 노이즈가 많은 영상에서 노이즈를 제거하는 일반적인 절차이다. 통계 신호 처리의 좋은 옛날에 표준 교과서 문제는 백색 잡음에 대한 최적의 데노이저를 도출하는 것이다. 관측 모형이 주어지면

$$\mathbf{y}=\mathbf{x}+\boldsymbol{\epsilon},\qquad\text{where}\;\;\boldsymbol{\epsilon}\sim\mathcal{N}(0,\mathbf{I}),$$

평균 제곱 오차가 최소화되도록 추정기 $g(\cdot)$를 구성할 수 있는가?

우리는 이 고전적 문제에 대한 해의 도출은 [7, Chapter 8]와 같은 임의의 확률 교과서에서 찾을 수 있기 때문에 건너뛸 것이다. 상기 솔루션은,

$$\text{denoise}(\mathbf{y}) =\mathop{\underset{g}{\mbox{argmin}}}\;\;\mathbb{E}_{\mathbf{x},\mathbf{y}}[\|g(\mathbf{y})-\mathbf{x}\|^{2}]$$

$$=\text{some magical step}$$

$$=\mathbb{E}[\mathbf{x}|\mathbf{y}].$$ (60)

그래서 우리의 문제로 돌아가면: 만약 우리가 그렇게 가정한다면

$$\mathbf{x}_{t}=\mathbf{x}_{t-1}+\boldsymbol{\epsilon}_{t-1},\qquad\text{where}\;\;\boldsymbol{\epsilon}_{t-1}\sim\mathcal{N}(0,\mathbf{I}),$$

그렇다면 명백히 데노아저는 사후 분포의 조건부 기대치이다:

$$\text{denoise}(\mathbf{x}_{t})=\mathbb{E}[\mathbf{x}_{t-1}|\mathbf{x}_{t}].$$ (61)

따라서, 분포 $p_{\boldsymbol{\theta}}(\mathbf{x}_{t-1}|\mathbf{x}_{t})$가 주어지면, 최적 데노이저는 이 분포의 조건부 기대치일 뿐이다. 이러한 denoiser를 minimum mean squared error (MMSE) denoiser라고 한다. MMSE denoiser는 not the "best" denoiser; 이는 평균 제곱 오차와 관련하여 최적의 denoiser일 뿐이다. 평균 제곱 오차는 결코 이미지 품질에 대한 좋은 메트릭이 아니기 때문에 MSE를 최소화하는 것이 반드시 더 나은 이미지를 제공하는 것은 아니다. 그럼에도 불구하고 사람들은 도출하기 쉽기 때문에 MMSE 데노아저를 좋아한다.

Incremental Denoising Steps. MMSE 디노이저가 사후 분포의 조건부 기대치와 동일하다는 것을 이해하면 증분 디노이징을 이해할 수 있습니다. 작동 방식은 이렇습니다. 깨끗한 이미지 $\mathbf{x}_{0}$와 노이즈 이미지 $\mathbf{y}$를 가지고 있다고 가정하자. 우리의 목표는 간단한 방정식을 통해 $\mathbf{x}_{0}$와 $\mathbf{y}$의 선형 조합을 형성하는 것이다.

$$\mathbf{x}_{t}=(1-t)\mathbf{x}_{0}+t\mathbf{y},\qquad 0\leq t\leq 1.$$ (62)

Now, consider a small step $\tau$ previous to time $t$. The following result, showed by [6], provides some useful utilities: Let $0\leq\tau<t\leq 1$ , and suppose that $\mathbf{x}_{t}=(1-t)\mathbf{x}_{0}+t\mathbf{y}$, then it holds that $$\mathbb{E}[\mathbf{x}_{t-\tau}|\mathbf{x}_{t}]=\left(1-\frac{\tau}{t}\right)$$ (63) If we define $\widehat{\mathbf{x}}_{t-\tau}$ as the left hand side, replace $\mathbf{x}_{t}$ by $\widehat{\mathbf{x}}_{t}$, and write $\mathbb{E}[\mathbf{x}_{0}|\mathbf{x}_{t}]$ as $\text{denoise}(\widehat{\mathbf{x}}_{t})$, then the above equation will become

Report issue for preceding element

$$\widehat{\mathbf{x}}_{t-\tau}=\left(1-\frac{\tau}{t}\right)\cdot\widehat{\mathbf{x}}_{t}+\frac{\tau}{t}\text{denoise}(\widehat{\mathbf{x}}_{t}),$$ (64)

여기서 $\tau$는 시간의 작은 단계이다.

Eqn (64)은 우리에게 inference 단계를 제공한다. 데노이저를 알려주고 노이즈가 있는 이미지 $\mathbf{y}$로 시작한다고 가정하면, Eqn(64)을 반복적으로 적용하여 이미지 $\widehat{\mathbf{x}}_{t-1}$, $\widehat{\mathbf{x}}_{t-2}$, …, $\widehat{\mathbf{x}}_{0}$를 검색할 수 있다.

Training. 반복 스킴의 트레이닝은 $\text{denoise}(\mathbf{x}_{t})$를 생성하는 데노이저를 필요로 한다. 이를 위해, 우리는 신경망 $\text{denoise}_{\boldsymbol{\theta}}$를 훈련시킬 수 있다(여기서 $\boldsymbol{\theta}$는 네트워크 가중치를 나타냄):

$$\mathop{\underset{\boldsymbol{\theta}}{\mathrm{minimize}}}\;\;\mathbb{E}_{\mathbf{x},\mathbf{y}}\mathbb{E}_{t\sim\text{uniform}}\Big{[}\|\text{denoise}_{\boldsymbol{\theta}}(\mathbf{x}_{t})-\mathbf{x}\|^{2}\Big{]}.$$ (65)

여기서, 분포 "$t\sim\text{uniform}$"는 시간 단계 $t$가 주어진 분포로부터 균일하게 그려지도록 명시한다. 그러므로, 우리는 모든 시간 단계 $t$에 대해 하나의 데노이저를 훈련시키고 있다. 기대 $(\mathbf{x},\mathbf{y})$는 일반적으로 훈련 데이터 세트에서 잡음이 많고 깨끗한 이미지 쌍을 사용할 때 충족됩니다. 훈련 후, 우리는 Eqn(64)을 통해 증분 업데이트를 수행할 수 있다.

Connection with Denoising Score-Matching. 우리는 아직 스코어-매칭(다음 섹션에서 제시될 것임)에 대해 논의하지 않았지만, 위의 반복적 디노이징 절차에 대한 흥미로운 사실은 그것이 스코어-매칭 디노이징과 관련이 있다는 것이다. 높은 수준에서 반복을 다시 쓸 수 있습니다.

$$\mathbf{x}_{t-\tau} =\left(1-\frac{\tau}{t}\right)\cdot\mathbf{x}_{t}+\frac{\tau}{t}\text{denoise}(\mathbf{x}_{t})$$

$$\Rightarrow\qquad \mathbf{x}_{t-\tau}-\mathbf{x}_{t} =-\frac{\tau}{t}\mathbf{x}_{t}+\frac{\tau}{t}\text{denoise}(\mathbf{x}_{t})$$

$$\Rightarrow\qquad \frac{\mathbf{x}_{t}-\mathbf{x}_{t-\tau}}{\tau} =\frac{\mathbf{x}_{t}-\text{denoise}(\mathbf{x}_{t})}{t}$$

$$\Rightarrow\qquad \frac{d\mathbf{x}_{t}}{dt}=\lim_{\tau\rightarrow 0}\frac{\mathbf{x}_{t}-\mathbf{x}_{t-\tau}}{\tau} =\frac{\mathbf{x}_{t}-\text{denoise}(\mathbf{x}_{t})}{t}$$

이것은 상미분 방정식(ODE)이다. $\mathbf{x}_{t}$의 노이즈 레벨이 $\sigma_{t}^{2}=t^{2}\sigma^{2}$가 되도록 $\mathbf{x}_{t}=\mathbf{x}+t\boldsymbol{\epsilon}$를 허용하면, 우리는 문헌에서 여러 결과를 사용하여 다음을 보여줄 수 있다.

$$\frac{d\mathbf{x}_{t}}{dt} =-\frac{1}{2}\frac{d(\sigma_{t}^{2})}{dt}\nabla_{\mathbf{x}_{t}}\log p_{t}(\mathbf{x}_{t}) (\text{ODE defined by Song et al. \cite[cite]{[\@@bibref{}{Song_2021_SGM}{}{}]}})$$

$$=-t\sigma^{2}\nabla_{\mathbf{x}_{t}}\log p_{t}(\mathbf{x}_{t}) (\sigma_{t}=t\sigma)$$

$$\approx-t\sigma^{2}\frac{\mathbf{x}-\text{denoise}(\mathbf{x}_{t})}{t^{2}\sigma^{2}} (\text{Approximation proposed by Vincent \cite[cite]{[\@@bibref{}{Vincent_2011_DSM}{}{}]}})$$

$$=\frac{\mathbf{x}_{t}-\text{denoise}(\mathbf{x}_{t})}{t}.$$

따라서, 증분 디노이징 반복은 적어도 ODE에 의해 결정된 제한 경우에 디노이징 스코어-매칭과 동등하다.

Adding Stochastic Steps. 위의 점진적 잡음 제거 반복은 확률적 섭동을 포함할 수 있다. 추론 단계에 대해, 우리는 잡음 레벨들의 시퀀스 $\{\sigma_{t}\;|\;0\leq t\leq 1\}$를 정의하고, 정의할 수 있다.

$$\widehat{\mathbf{x}}_{t-\tau}=\left(1-\frac{\tau}{t}\right)\cdot\widehat{\mathbf{x}}_{t}+\frac{\tau}{t}\text{denoise}(\widehat{\mathbf{x}}_{t})+(t-\tau)\sqrt{\sigma_{t-\tau}^{2}-\sigma_{t}^{2}}\boldsymbol{\epsilon},\qquad\boldsymbol{\epsilon}\sim\mathcal{N}(0,\mathbf{I}).$$ (66)

또는 훈련을 통해 데노이저를 훈련할 수 있다.

$$\mathop{\underset{\boldsymbol{\theta}}{\mathrm{minimize}}}\;\;\mathbb{E}_{(\mathbf{x},\mathbf{y})}\mathbb{E}_{t\sim\text{uniform}}\mathbb{E}_{\boldsymbol{\epsilon}}\left[\|\text{denoise}(\mathbf{x}_{t})-\mathbf{x}\|^{2}\right],$$ (67)

where $\mathbf{x}_{t}=(1-t)\mathbf{x}+t\mathbf{y}+\sqrt{t}\sigma_{t}\boldsymbol{\epsilon}$.

Report issue for preceding element

Congratulations! 우린 끝났어 이것은 모두 DDPM에 관한 것이다.

DDPM의 문헌은 빠르게 폭발하고 있다. Sohl-Dickstein et al. [10]와 Ho et al. [4]의 원 논문은 주제를 이해하기 위한 필수 읽기이다. 보다 "사용자 친화적인" 버전의 경우 Luo의 자습서가 매우 유용한 [11]임을 발견했다. Song et al. [12]의 디노이징 확산 암시적 모델을 포함하여 일부 후속 작업이 많이 인용된다. 응용 측면에서 사람들은 다양한 이미지 합성 응용, 예를 들어 [13, 14]에 DDPM을 사용해 왔다.

3 Score-Matching Langevin Dynamics (SMLD)

Report issue for preceding element

점수 기반 생성 모델 [8]는 원하는 분포로부터 데이터를 생성하기 위한 대안적인 접근법이다. 랭뱅 다이내믹스, (스타인) 스코어 함수, 스코어 매칭 손실 등 몇 가지 핵심 요소가 있다. 본 절에서는 이러한 주제들을 하나씩 살펴보도록 하겠다.

3.1 Langevin Dynamics

Report issue for preceding element

우리 논의의 흥미로운 출발점은 랭뱅 역학이다. 그것은 생성 모델과 아무 관련이 없는 것처럼 보일 매우 물리학적인 주제이다. 하지만 걱정하지 마세요. 사실, 그들은 좋은 방식으로 관련이 있다.

Instead of telling you the physics right a way, let’s talk about how Langevin dynamics can be used to draw samples from a distribution. Imagine that we are given a distribution $p(\mathbf{x})$ and suppose that we want to draw samples from $p(\mathbf{x})$. Langevin dynamics is an iterative procedure that allows us to draw samples according to the following equation. The Langevin dynamics for sampling from a known distribution $p(\mathbf{x})$ is an iterative procedure for $t=1,\ldots,T$: $$\mathbf{x}_{t+1}=\mathbf{x}_{t}+\tau\nabla_{\mathbf{x}}\log p(\mathbf{x}_{t})+$$ (68) where $\tau$ is the step size which users can control, and $\mathbf{x}_{0}$ is white noise.

Report issue for preceding element

여러분은 궁금할지도 모릅니다. 이 신비한 방정식은 도대체 무엇에 관한 것일까요? 여기 짧고 빠른 답변이 있습니다. 마지막에 노이즈 용어 $\sqrt{2\tau}\mathbf{z}$를 무시하면, Eqn(68)의 Langevin dynamics equation은 말 그대로 gradient descent이다. 하강 방향 $\nabla_{\mathbf{x}}\log p(\mathbf{x})$는 $\mathbf{x}_{t}$가 분포 $p(\mathbf{x})$로 수렴할 것임을 신중하게 선택한다. Langevin dynamics 방정식을 설명 하지 않고 10 분 동안 mumbling 하는 YouTube 비디오를 시청 하는 경우 다음과 같이 부드럽게 말할 수 있습니다. 잡음 용어 없이 Langevin dynamics is gradient descent.

분포 $p(\mathbf{x})$를 고려한다. 이 분포의 형태가 정의되고 모형 모수가 정의되자마자 고정된다. 예를 들어 가우시안을 선택하면 평균과 분산을 지정하면 가우시안의 모양과 위치가 고정된다. 값 $p(\mathbf{x})$는 데이터 포인트 $\mathbf{x}$에서 평가된 확률 밀도에 불과하다. 따라서, 하나의 $\mathbf{x}$에서 다른 $\mathbf{x}^{\prime}$로 이동하면, 하나의 값 $p(\mathbf{x})$에서 다른 값 $p(\mathbf{x}^{\prime})$로 이동하게 된다. 가우시안 기본 모양은 변경되지 않습니다.

$\mathbb{R}^{d}$에서 임의의 일부 위치로 시작한다고 가정하자. 우리는 그것을 분포의 정점(들)으로 옮기고 싶다. 피크는 확률이 가장 높은 곳이기 때문에 특별한 장소이다. 따라서, 샘플 $\mathbf{x}$가 분포 $p(\mathbf{x})$로부터 그려졌다고 하면, 확실히 $\mathbf{x}$에 대한 "최적" 위치는 $p(\mathbf{x})$가 최대가 되는 곳이다. $p(\mathbf{x})$가 다수의 로컬 최소값을 갖는다면, 이들 중 어느 하나라도 무방할 것이다. 따라서 자연스럽게 샘플링의 목표는 최적화를 해결하는 것과 동일합니다.

$$\mathbf{x}^{*}=\mathop{\underset{\mathbf{x}}{\mbox{argmax}}}\;\;\log p(\mathbf{x}).$$

우리는 이것이 not maximum likelihood estimation임을 다시 강조한다. 최대 우도에서, 데이터 포인트 $\mathbf{x}$는 고정되지만 모델 파라미터들은 변화하고 있다. 여기서, 모델 파라미터는 고정되어 있지만 데이터 포인트는 변화하고 있다. 아래 표는 차이점을 요약한 것이다.

Problem	Sampling Report issue for preceding element	Maximum Likelihood Report issue for preceding element
Optimization target	A sample $\mathbf{x}$ Report issue for preceding element	Model parameter $\boldsymbol{\theta}$ Report issue for preceding element
Formulation	$\mathbf{x}^{*}=\mathop{\underset{\mathbf{x}}{\mbox{argmax}}}\;\;\log p(\mathbf{x};\boldsymbol{\theta})$ Report issue for preceding element	$\boldsymbol{\theta}^{*}=\mathop{\underset{\boldsymbol{\theta}}{\mbox{argmax}}}\;\;\log p(\mathbf{x};\boldsymbol{\theta})$ Report issue for preceding element

Report issue for preceding element

최적화는 여러 가지 방법으로 해결할 수 있다. 가장 저렴한 방법은 물론 경사 하강이다. $\log p(\mathbf{x})$의 경우, 기울기 하강 단계는

$$\mathbf{x}_{t+1}=\mathbf{x}_{t}+\tau\nabla_{\mathbf{x}}\log p(\mathbf{x}_{t}),$$

where $\nabla_{\mathbf{x}}\log p(\mathbf{x}_{t})$ denotes the gradient of $\log p(\mathbf{x})$ evaluated at $\mathbf{x}_{t}$, and $\tau$ is the step size. Here we use “$+$” instead of the typical “$-$” because we are solving a maximization problem.

Report issue for preceding element

Example. Consider a Gaussian distribution $p(x)=\mathcal{N}(x\,|\,\mu,\sigma^{2})$, we can easily show that the Langevin dynamics equation is $\displaystyle x_{t+1}$ $\displaystyle=x_{t}+\tau\cdot\nabla_{x}\log\left\{\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}\right\}+\sqrt{2\tau}z$ $\displaystyle=x_{t}-\tau\cdot\frac{x_{t}-\mu}{\sigma^{2}}+\sqrt{2\tau}z,$ $\displaystyle\qquad z\sim\mathcal{N}(0,1)$

Example. Consider a Gaussian mixture $p(x)=\pi_{1}\mathcal{N}(x\,|\,\mu_{1},\sigma_{1}^{2})+\pi_{2}\mathcal{N}(x\,|\,\mu_{2},\sigma_{2}^{2})$. We can numerically calculate $\nabla_{x}\log p(x)$. For demonstration, we choose $\pi_{1}=0.6$. $\mu_{1}=2$, $\sigma_{1}=0.5$, $\pi_{2}=0.4$, $\mu_{2}=-2$, $\sigma_{2}=0.2$. We initialize $x_{0}=0$. We choose $\tau=0.05$. We run the above gradient descent iteration for $T=500$ times, and we plot the trajectory of the values $p(x_{t})$ for $t=1,\ldots,T$. As we can see in the figure below, the sequence $\{x_{1},x_{2},\ldots,x_{T}\}$ simply follows the shape of the Gaussian and climb to one of the peaks. What is more interesting is when we add the noise term. Instead of landing at the peak, the sequence $x_{t}$ move around the peak and finishes somewhere near the peak. The closer we are to the peak, the higher probability we will stop there. $\mathbf{x}_{t+1}=\mathbf{x}_{t}+\tau\nabla_{\mathbf{x}}\log p(\mathbf{x}_{t})$ $\mathbf{x}_{t+1}=\mathbf{x}_{t}+\tau\nabla_{\mathbf{x}}\log p(\mathbf{x}_{t})+\sqrt{2\tau}\mathbf{z}$

17는 샘플 궤적에 대한 흥미로운 설명을 보여준다. 임의의 위치를 시작으로 데이터 포인트 $\mathbf{x}_{t}$는 Langevin 다이내믹스 방정식에 따라 랜덤 워크를 할 것이다. 임의 보행의 방향이 완전히 임의적인 것은 아니다. 모든 단계에서 일정 수준의 무작위성이 있는 동안 미리 정의된 드리프트가 있다. 드리프트는 $\nabla_{\mathbf{x}}\log p(\mathbf{x})$에 의해 결정되며, 여기서 랜덤성은 $\mathbf{z}$로부터 나온다.

도 17:Langevin dynamics를 이용한 sample evolutions의 Trajectory. 우리는 더 나은 시각화를 위해 가우시안 혼합물의 두 가지 모드를 다른 색상으로 채색했다. 여기서의 설정은 스텝 사이즈가 $\tau=0.001$인 것을 제외하고는 위의 예와 동일하다.

Report issue for preceding element

위의 예에서 볼 수 있듯이 노이즈 항의 추가는 실제로 Gradient descent를 stochastic Gradient descent으로 변경한다. 결정론적 최적을 위해 촬영하는 대신 확률적 기울기 하강은 무작위로 언덕을 올라간다. 우리는 일정한 스텝 크기 $\sqrt{2\tau}$를 사용하기 때문에, 최종 해는 단지 피크 주변에서 진동할 것이다. 따라서 Langevin dynamics 식을 요약할 수 있습니다. Langevin dynamics is stochastic gradient descent. 그런데 왜 기울기 하강 대신 확률적 기울기 하강을 하려는 것일까? 핵심은 우리가 최적화 문제를 푸는 데 관심이 없다는 것이다. 대신 배포에서 sampling에 더 관심이 있습니다. 무작위 잡음을 기울기 하강 단계에 도입함으로써 목적 함수의 궤적이 있는 곳에 머무르지 않으면서 목적 함수의 궤적을 따르는 표본을 무작위로 선택한다. 우리가 정상에 가까우면 좌우로 약간 움직일 것이다. 만약 우리가 피크에서 멀리 떨어져 있다면, 기울기 방향은 우리를 피크 쪽으로 끌어당길 것이다. 피크 주위의 곡률이 날카롭다면, 우리는 대부분의 정상 상태점 $\mathbf{x}_{T}$에 집중할 것이다. 봉우리 주변의 곡률이 평평하다면 우리는 주변에 퍼질 것이다. 따라서, 균등하게 분포된 위치에서 확률적 경사 하강 알고리즘을 반복적으로 초기화함으로써, 우리는 결국 우리가 지정한 분포를 따를 샘플들을 수집할 것이다.

Example. Consider a Gaussian mixture $p(x)=\pi_{1}\mathcal{N}(x\,|\,\mu_{1},\sigma_{1}^{2})+\pi_{2}\mathcal{N}(x\,|\,\mu_{2},\sigma_{2}^{2})$. We can numerically calculate $\nabla_{x}\log p(x)$. For demonstration, we choose $\pi_{1}=0.6$. $\mu_{1}=2$, $\sigma_{1}=0.5$, $\pi_{2}=0.4$, $\mu_{2}=-2$, $\sigma_{2}=0.2$. Suppose we initialize $M=10000$ uniformly distributed samples $x_{0}\sim\text{Uniform}[-3,3]$. We run Langevin updates for $t=100$ steps. The histograms of generated samples are shown in the figures below.

Remark: Origin of Langevin Dynamics. The name Langevin dynamics of course does not originate from our “hacking” point of view. It starts with physics. Consider the basic Newton equation which relates force $\mathbf{F}$ with mass $m$ and velocity $\mathbf{v}(t)$. Newton’s second law says that $$\underset{\text{force}}{\underbrace{\mathbf{F}}}=\underset{\text{mass}}{\underbrace{m}}\cdot\underset{\text{acceleration}}{\underbrace{\frac{d\mathbf{v}(t)}{dt}}}.$$ (69) Given force $\mathbf{F}$, we also know that it is related to the potential energy $U(\mathbf{x})$ via $$\underset{\text{force}}{\underbrace{\mathbf{F}}}=\nabla_{\mathbf{x}}\underset{\text{energy}}{\underbrace{U(\mathbf{x})}}.$$ (70) The randomness of Langevin dynamics comes from Brownian motion. Imagine that we have a bag of molecules moving around. Their motion can be described according to the Brownian motion model: $$\frac{d\mathbf{v}(t)}{dt}=-\frac{\lambda}{m}\mathbf{v}(t)+\frac{1}{m}\boldsymbol{\eta},\qquad\text{where}\;\;\boldsymbol{\eta}\sim\mathcal{N}(0,\sigma^{2}\mathbf{I}).$$ (71) Therefore, substituting Eqn (71) into Eqn (69), and equating it with Eqn (70), we have $\displaystyle-\nabla_{\mathbf{x}}U(\mathbf{x})=-\lambda\mathbf{v}(t)+\boldsymbol{\eta}\quad\Rightarrow\quad\mathbf{v}(t)=-\frac{1}{\lambda}\nabla_{\mathbf{x}}U(\mathbf{x})+\frac{1}{\lambda}\boldsymbol{\eta}.$ This can be equivalently written as $$\frac{d\mathbf{x}}{dt}=-\frac{1}{\lambda}\nabla_{\mathbf{x}}U(\mathbf{x})+\frac{\sigma}{\lambda}\mathbf{z},\qquad\text{where}\;\;\mathbf{z}\sim\mathcal{N}(0,\mathbf{I}).$$ (72) If we let $\tau=\frac{dt}{\lambda}$ and discretize the above differential equation, we will obtain $$\mathbf{x}_{t+1}=\mathbf{x}_{t}-\tau\nabla_{\mathbf{x}}U(\mathbf{x}_{t})+\sigma\tau\mathbf{z}_{t}.$$ (73) So it remains to identify the energy potential. A very reasonable (and lazy) choice for our probability distribution function $p(\mathbf{x})$ is the Boltzmann distribution with the form $\displaystyle p(\mathbf{x})=\frac{1}{Z}\exp\left\{-U(\mathbf{x})\right\}.$ Therefore, it follows immediately that $$\nabla_{\mathbf{x}}\log p(\mathbf{x})=\nabla_{\mathbf{x}}\Big{\{}-U(\mathbf{x})-\log Z\Big{\}}=-\nabla_{\mathbf{x}}U(\mathbf{x}).$$ (74) Substituting Eqn (74) into Eqn (73) would yield $\mathbf{x}_{t+1}=\mathbf{x}_{t}+\tau\nabla_{\mathbf{x}}\log p(\mathbf{x})+\sigma\tau\mathbf{z}$. Finally, if we choose $\sigma=\sqrt{2/\tau}$ (for no particular reason), we will obtain $$\mathbf{x}_{t+1}=\mathbf{x}_{t}+\tau\nabla_{\mathbf{x}}\log p(\mathbf{x}_{t})+\sqrt{2\tau}\mathbf{z}_{t}.$$ (75)

3.2 (Stein’s) Score Function

Report issue for preceding element

랭뱅 역학 방정식의 두 번째 성분은 기울기 $\nabla_{\mathbf{x}}\log p(\mathbf{x})$이다. 그것은 Stein's score function, denoted by

$$\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})\overset{\text{def}}{=}\nabla_{\mathbf{x}}\log p_{\boldsymbol{\theta}}(\mathbf{x}).$$ (76)

우리는 Stein의 점수 함수를 ordinary score function로 정의하지 않도록 주의해야 한다.

$$\mathbf{s}_{\mathbf{x}}(\boldsymbol{\theta})\overset{\text{def}}{=}\nabla_{\boldsymbol{\theta}}\log p_{\boldsymbol{\theta}}(\mathbf{x}).$$ (77)

통상 스코어 함수는 로그-우도의 그래디언트(wrt$\boldsymbol{\theta}$)이다. 대조적으로, 스타인의 점수 함수는 그래디언트 wrt 데이터 포인트 $\mathbf{x}$이다. 최대 우도 추정은 보통 점수 함수를 사용하는 반면, 랭뱅 역학은 스타인의 점수 함수를 사용한다. 그러나 확산 문헌의 대부분의 사람들은 스타인의 점수 함수를 점수 함수로 부르므로 우리는 이 문화를 따른다. The "score function in Langevin dynamics is more accurately known the Stein's score function.

점수 함수를 이해하는 방법은 데이터 $\mathbf{x}$에 대한 그래디언트임을 기억하는 것이다. 임의의 고차원 분포 $p(\mathbf{x})$에 대해, 그래디언트는 우리에게 벡터 필드를 줄 것이다

$$\nabla_{\mathbf{x}}\log p(\mathbf{x})=\text{a vector field}=\left[\frac{\partial\log p(\mathbf{x})}{\partial x},\;\;\frac{\partial\log p(\mathbf{x})}{\partial y}\right]^{T}$$ (78)

Let’s consider two examples. Example. If $p(x)$ is a Gaussian with $p(x)=\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}$, then $$s(x)=\nabla_{x}\log p(x)=-\frac{(x-\mu)}{\sigma^{2}}.$$

Report issue for preceding element

Example. If $p(x)$ is a Gaussian mixture with $p(x)=\sum_{i=1}^{N}\pi_{i}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}}$, then $$s(x)=\nabla_{x}\log p(x)=-\frac{\sum_{j=1}^{N}\pi_{j}\frac{1}{\sqrt{2\pi\sigma_{j}^{2}}}e^{-\frac{(x-\mu_{j})^{2}}{2\sigma_{j}^{2}}}\frac{(x-\mu_{j})}{\sigma_{j}^{2}}}{\sum_{i=1}^{N}\pi_{i}\frac{1}{\sqrt{2\pi\sigma_{i}^{2}}}e^{-\frac{(x-\mu_{i})^{2}}{2\sigma_{i}^{2}}}}.$$

위의 두 예제의 확률밀도함수와 해당 점수함수는 18와 같다.

(a) $\mathcal{N}(1,1)$	(b) $0.6\mathcal{N}(2,0.5^{2})+0.4\mathcal{N}(-2,0.2^{2})$

도 18:점수 함수의 예

Report issue for preceding element

Geometric Interpretations of the Score Function.

• 벡터의 크기는 $\log p(\mathbf{x})$의 변화가 가장 큰 곳에서 가장 강하다. 따라서, $\log p(\mathbf{x})$가 피크에 가까운 영역에서는 대부분 매우 약한 그래디언트가 될 것이다.

• 벡터 필드는 how a data point should travel in the contour map. 19에서 우리는 가우시안 혼합물(두 개의 가우시안 포함)의 등고선 지도를 보여준다. 우리는 벡터장을 나타내기 위해 화살표를 그린다. 이제 우리가 공간에 살고 있는 데이터 포인트를 고려한다면, 랭뱅 역학 방정식은 기본적으로 데이터 포인트를 벡터장이 가리키는 방향을 따라 분지를 향해 이동할 것이다.

• 물리학에서 점수 함수는 "drift"과 같다. 이 이름은 확산 입자가 가장 낮은 에너지 상태로 어떻게 흘러가야 하는지를 시사한다.

(a) vector field of $\nabla_{\mathbf{x}}\log p(\mathbf{x})$	(b) $\mathbf{x}_{t}$ trajectory

Figure 19: score function의 contour map, and the corresponding trajectory of two samples.

Report issue for preceding element

3.3 Score Matching Techniques

Report issue for preceding element

Langevin dynamics에서 가장 어려운 문제는 $p(\mathbf{x})$에 대한 접근 권한이 없기 때문에 $\nabla_{\mathbf{x}}p(\mathbf{x})$를 어떻게 구할 것인가이다. 슈타인 점수 함수의 정의를 떠올려 보자.

$$\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})\overset{\text{def}}{=}\nabla_{\mathbf{x}}p(\mathbf{x}),$$ (79)

여기서, $\mathbf{s}_{\boldsymbol{\theta}}$가 네트워크를 통해 구현될 것임을 나타내기 위해 첨자 $\boldsymbol{\theta}$를 넣는다. 위 방정식의 오른쪽은 알려져 있지 않기 때문에, 우리는 그것을 근사화하기 위한 몇 가지 값싸고 더러운 방법이 필요하다. 이 절에서는 두 가지 근사치에 대해 간략하게 논의한다.

Explicit Score-Matching. 데이터세트 $\mathcal{X}=\{\mathbf{x}_{1},\ldots,\mathbf{x}_{M}\}$가 주어졌다고 가정하자. 사람들이 생각해 낸 해는 분포를 정의하여 고전적인 커널 밀도 추정을 고려하는 것이다.

$$q(\mathbf{x})=\frac{1}{M}\sum_{m=1}^{M}\frac{1}{h}K\left(\frac{\mathbf{x}-\mathbf{x}_{m}}{h}\right),$$ (80)

여기서 $h$는 커널 함수 $K(\cdot)$, $\mathbf{x}_{m}$는 트레이닝 세트 내의 $m$-번째 샘플일 뿐이다. 20는 커널 밀도 추정의 아이디어를 예시한다. 왼쪽에 표시된 만화 그림에서 서로 다른 데이터 포인트 $\mathbf{x}_{m}$를 중심으로 여러 개의 커널 $K(\cdot)$를 보여준다. 이 모든 개별 커널의 합은 전체 커널 밀도 추정치 $q(\mathbf{x})$를 제공한다. 오른쪽은 실제 히스토그램과 해당 커널 밀도 추정치를 보여준다. 우리는 $q(\mathbf{x})$가 기껏해야 알려지지 않은 진정한 데이터 분포 $p(\mathbf{x})$에 대한 근사치라고 지적한다.

그림 20:Illustration of kernel density estimation.

Report issue for preceding element

$q(\mathbf{x})$는 결코 접근할 수 없는 $p(\mathbf{x})$에 대한 근사치이므로, $q(\mathbf{x})$에 기초하여 $\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})$를 학습할 수 있다. 이것은 네트워크를 훈련시키는 데 사용될 수 있는 손실 함수의 다음과 같은 정의로 이어진다. The explicit score matching $\displaystyle J_{\text{ESM}}(\boldsymbol{\theta})$ $\displaystyle\overset{\text{def}}{=}\mathbb{E}_{q(\mathbf{x})}\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})-\nabla_{\mathbf{x}}\log q(\mathbf{x})\|^{2}$ $\displaystyle=\int\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})-\nabla_{\mathbf{x}}\log q(\mathbf{x})\|^{2}\left[\frac{1}{M}\sum_{m=1}^{M}\frac{1}{h}K\left(\frac{\mathbf{x}-\mathbf{x}_{m}}{h}\right)\right]d\mathbf{x}$ $\displaystyle=\frac{1}{M}\sum_{m=1}^{M}\int\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})-\nabla_{\mathbf{x}}\log q(\mathbf{x})\|^{2}\frac{1}{h}K\left(\frac{\mathbf{x}-\mathbf{x}_{m}}{h}\right)d\mathbf{x}.$ (82)

그래서 우리는 네트워크를 훈련하는 데 사용할 수 있는 손실 함수를 유도했다. 일단 네트워크 $\mathbf{s}_{\boldsymbol{\theta}}$를 훈련시키면, 이를 랑게빈 역학 방정식에서 대체하여 재귀성을 구할 수 있다:

$$\mathbf{x}_{t+1}=\mathbf{x}_{t}+\tau\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}_{t})+\sqrt{2\tau}\mathbf{z}.$$ (83)

명시적 점수 매칭의 문제는 커널 밀도 추정이 참 분포의 상당히 열악한 비모수 추정이라는 것이다. 특히 표본 수가 제한적이고 표본이 고차원 공간에 존재할 경우 커널 밀도 추정 성능이 떨어질 수 있다.

Denoising Score Matching. 명시적 점수 매칭의 잠재적인 단점들을 고려하여, 이제 우리는 디노이징 점수 매칭(DSM)으로 알려진 보다 대중적인 점수 매칭을 소개한다. DSM에서 손실 함수는 다음과 같이 정의된다.

$$J_{\text{DSM}}(\boldsymbol{\theta})\overset{\text{def}}{=}\mathbb{E}_{q(\mathbf{x},\mathbf{x}^{\prime})}\left[\frac{1}{2}\left\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})-\nabla_{\mathbf{x}}q(\mathbf{x}|\mathbf{x}^{\prime})\right\|^{2}\right]$$ (84)

여기서 중요한 차이점은 분포 $q(\mathbf{x})$를 조건부 분포 $q(\mathbf{x}|\mathbf{x}^{\prime})$로 대체한다는 것이다. 전자는 예를 들어 커널 밀도 추정을 통한 근사치를 필요로 하는 반면 후자는 그렇지 않다. 예를 들어 설명하면 다음과 같다.

In the special case where $q(\mathbf{x}|\mathbf{x}^{\prime})=\mathcal{N}(\mathbf{x}\;|\;\mathbf{x}^{$, we can let $\mathbf{x}=\mathbf{x}^{\prime}+\sigma\mathbf{z}$. This will give us

Report issue for preceding element

$$\nabla_{\mathbf{x}}\log q(\mathbf{x}|\mathbf{x}^{\prime}) =\nabla_{\mathbf{x}}\log\frac{1}{(\sqrt{2\pi\sigma^{2}})^{d}}\exp\left\{-\frac{\|\mathbf{x}-\mathbf{x}^{\prime}\|^{2}}{2\sigma^{2}}\right\}$$

$$=\nabla_{\mathbf{x}}\left\{-\frac{\|\mathbf{x}-\mathbf{x}^{\prime}\|^{2}}{2\sigma^{2}}-\log(\sqrt{2\pi\sigma^{2}})^{d}\right\}$$

$$=-\frac{\mathbf{x}-\mathbf{x}^{\prime}}{\sigma^{2}}=-\frac{\mathbf{z}}{\sigma^{2}}.$$

그 결과, 상기 디노이징 스코어 매칭의 손실 함수는

$$J_{\text{DSM}}(\boldsymbol{\theta}) \overset{\text{def}}{=}\mathbb{E}_{q(\mathbf{x},\mathbf{x}^{\prime})}\left[\frac{1}{2}\left\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})-\nabla_{\mathbf{x}}q(\mathbf{x}|\mathbf{x}^{\prime})\right\|^{2}\right]$$

$$=\mathbb{E}_{q(\mathbf{x}^{\prime})}\left[\frac{1}{2}\left\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}^{\prime}+\sigma\mathbf{z})+\frac{\mathbf{z}}{\sigma^{2}}\right\|^{2}\right].$$

If we replace the dummy variable $\mathbf{x}^{\prime}$ by $\mathbf{x}$, and we note that sampling from $q(\mathbf{x})$ can be replaced by sampling from $p(\mathbf{x})$ when we are given a training dataset, we can conclude the following. The Denoising Score Matching has a loss function defined as $$J_{\text{DSM}}(\boldsymbol{\theta})=\mathbb{E}_{p(\mathbf{x})}\left[\frac{1}{2$$ (85)

Report issue for preceding element

Eqn(85)에 대한 아름다움은 해석이 가능하다는 것이다. 수량 $\mathbf{x}+\sigma\mathbf{z}$는 깨끗한 이미지 $\mathbf{x}$에 노이즈 $\sigma\mathbf{z}$를 효과적으로 추가하고 있다. 점수 함수 $\mathbf{s}_{\boldsymbol{\theta}}$는 이 노이즈 이미지를 취하여 노이즈 $\frac{\mathbf{z}}{\sigma^{2}}$를 예측하도록 되어 있다. 노이즈를 예측하는 것은 노이즈 제거와 동일하며, 이는 노이즈 제거된 이미지와 예측된 노이즈가 노이즈 관찰을 제공하기 때문이다. 따라서, Eqn(85)는 denoising step이다. 21는 스코어 함수 $\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})$의 트레이닝 절차를 예시한다.

도 21: Training of $\mathbf{s}_{\boldsymbol{\theta}}$ for denoising score matching. 네트워크 $\mathbf{s}_{\boldsymbol{\theta}}$는 노이즈를 추정하도록 훈련된다.

Report issue for preceding element

training 단계는 다음과 같이 간단히 설명할 수 있습니다.

$$\boldsymbol{\theta}^{*}=\mathop{\underset{\boldsymbol{\theta}}{\mbox{argmin}}}\;\;\frac{1}{L}\sum_{\ell=1}^{L}\frac{1}{2}\left\|\mathbf{s}_{\boldsymbol{\theta}}\left(\mathbf{x}^{(\ell)}+\sigma\mathbf{z}^{(\ell)}\right)+\frac{\mathbf{z}^{(\ell)}}{\sigma^{2}}\right\|^{2},\qquad\text{where}\quad\mathbf{z}^{(\ell)}\sim\mathcal{N}(0,\mathbf{I}).$$ (86)

여기서 더 큰 질문은 Eqn(84)이 애초에 왜 말이 되는가이다. 이는 명시적 스코어 매칭 손실과 디노이징 스코어 매칭 손실 사이의 동등성을 통해 답변될 필요가 있다.

Theorem [Vincent [9]] For up to a constant $C$ which is independent of the variable $\boldsymbol{\theta}$, it holds that $$J_{\text{DSM}}(\boldsymbol{\theta})=J_{\text{ESM}}(\boldsymbol{\theta})+C.$$ (87)

명시적 점수 매칭과 노이즈 제거 점수 매칭 사이의 동등성은 주요 발견이다. 아래의 증명은 빈센트 2011의 원작을 바탕으로 한다.

Proof of Eqn (87) We start with the explicit score matching loss function, which is given by $\displaystyle J_{\text{ESM}}(\boldsymbol{\theta})$ $\displaystyle=\mathbb{E}_{q(\mathbf{x})}\left[\frac{1}{2}\left\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})-\nabla_{\mathbf{x}}\log q(\mathbf{x})\right\|^{2}\right]$ $\displaystyle=\mathbb{E}_{q(\mathbf{x})}\Big{[}\frac{1}{2}\left\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})\right\|^{2}-\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}\log q(\mathbf{x})+\underset{\overset{\text{def}}{=}C_{1},\text{independent of $\boldsymbol{\theta}$}}{\underbrace{\frac{1}{2}\left\|\nabla_{\mathbf{x}}\log q(\mathbf{x})\right\|^{2}}}\Big{]}.$ Let’s zoom into the second term. We can show that $\displaystyle\mathbb{E}_{q(\mathbf{x})}\left[\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}\log q(\mathbf{x})\right]$ $\displaystyle=\int\left(\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}\log q(\mathbf{x})\right)q(\mathbf{x})d\mathbf{x},$ (expectation) $\displaystyle=\int\left(\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\frac{\nabla_{\mathbf{x}}q(\mathbf{x})}{\cancel{q(\mathbf{x})}}\right)\cancel{q(\mathbf{x})}d\mathbf{x},$ (gradient) $\displaystyle=\int\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}q(\mathbf{x})d\mathbf{x}.$ Next, we consider conditioning by recalling $q(\mathbf{x})=\int q(\mathbf{x}^{\prime})q(\mathbf{x}|\mathbf{x}^{\prime})d\mathbf{x}^{\prime}$. This will give us $\displaystyle\int\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}{\color[rgb]{0,0,1}q(\mathbf{x})}d\mathbf{x}$ $\displaystyle=\int\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}\underset{=q(\mathbf{x})}{\underbrace{\left(\int q(\mathbf{x}^{\prime})q(\mathbf{x}|\mathbf{x}^{\prime})d\mathbf{x}^{\prime}\right)}}d\mathbf{x}$ (conditional) $\displaystyle=\int\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\left(\int q(\mathbf{x}^{\prime}){\color[rgb]{0,0,1}\nabla_{\mathbf{x}}}q(\mathbf{x}|\mathbf{x}^{\prime})d\mathbf{x}^{\prime}\right)d\mathbf{x}$ (move gradient) $\displaystyle=\int\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\left(\int q(\mathbf{x}^{\prime})\nabla_{\mathbf{x}}q(\mathbf{x}|\mathbf{x}^{\prime})\times{\color[rgb]{0,0,1}\frac{q(\mathbf{x}|\mathbf{x}^{\prime})}{q(\mathbf{x}|\mathbf{x}^{\prime})}}d\mathbf{x}^{\prime}\right)d\mathbf{x}$ (multiple and divide) $\displaystyle=\int\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\int q(\mathbf{x}^{\prime})\underset{=\nabla_{\mathbf{x}}\log q(\mathbf{x}|\mathbf{x}^{\prime})}{\underbrace{\left(\frac{\nabla_{\mathbf{x}}q(\mathbf{x}|\mathbf{x}^{\prime})}{q(\mathbf{x}|\mathbf{x}^{\prime})}\right)}}q(\mathbf{x}|\mathbf{x}^{\prime})d\mathbf{x}^{\prime}d\mathbf{x}$ (rearrange terms) $\displaystyle=\int\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\left(\int q(\mathbf{x}^{\prime})\Big{(}\nabla_{\mathbf{x}}\log q(\mathbf{x}|\mathbf{x}^{\prime})\Big{)}q(\mathbf{x}|\mathbf{x}^{\prime})d\mathbf{x}^{\prime}\right)d\mathbf{x}$ $\displaystyle=\int\int\underset{=q(\mathbf{x},\mathbf{x}^{\prime})}{\underbrace{q(\mathbf{x}|\mathbf{x}^{\prime})q(\mathbf{x}^{\prime})}}\Big{(}\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}\log q(\mathbf{x}|\mathbf{x}^{\prime})\Big{)}d\mathbf{x}^{\prime}d\mathbf{x}$ (move integration) $\displaystyle=\mathbb{E}_{q(\mathbf{x},\mathbf{x}^{\prime})}\left[\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}\log q(\mathbf{x}|\mathbf{x}^{\prime})\right].$ So, if we substitute this result back to the definition of ESM, we can show that $\displaystyle J_{\text{ESM}}(\boldsymbol{\theta})=\mathbb{E}_{q(\mathbf{x})}\Big{[}\frac{1}{2}\left\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})\right\|^{2}\Big{]}-\mathbb{E}_{q(\mathbf{x},\mathbf{x}^{\prime})}\left[\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}\log q(\mathbf{x}|\mathbf{x}^{\prime})\right]+C_{1}.$ Comparing this with the definition of DSM, we can observe that $\displaystyle J_{\text{DSM}}(\boldsymbol{\theta})$ $\displaystyle\overset{\text{def}}{=}\mathbb{E}_{q(\mathbf{x},\mathbf{x}^{\prime})}\left[\frac{1}{2}\left\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})-\nabla_{\mathbf{x}}q(\mathbf{x}|\mathbf{x}^{\prime})\right\|^{2}\right]$ $\displaystyle=\mathbb{E}_{q(\mathbf{x},\mathbf{x}^{\prime})}\Big{[}\frac{1}{2}\left\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})\right\|^{2}-\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}\log q(\mathbf{x}|\mathbf{x}^{\prime})+\underset{\overset{\text{def}}{=}C_{2},\text{independent of $\boldsymbol{\theta}$}}{\underbrace{\frac{1}{2}\left\|\nabla_{\mathbf{x}}\log q(\mathbf{x}|\mathbf{x}^{\prime})\right\|^{2}}}\Big{]}$ $\displaystyle=\mathbb{E}_{q(\mathbf{x})}\Big{[}\frac{1}{2}\left\|\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})\right\|^{2}\Big{]}-\mathbb{E}_{q(\mathbf{x},\mathbf{x}^{\prime})}\left[\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x})^{T}\nabla_{\mathbf{x}}\log q(\mathbf{x}|\mathbf{x}^{\prime})\right]+C_{2}.$ Therefore, we conclude that $$J_{\text{DSM}}(\boldsymbol{\theta})=J_{\text{ESM}}(\boldsymbol{\theta})-C_{1}+C_{2}.$$

inference의 경우 점수 추정기 $\mathbf{s}_{\boldsymbol{\theta}}$를 이미 학습했다고 가정합니다. 이미지를 생성하기 위해, $t=1,\ldots,T$에 대해 다음과 같은 절차를 수행한다:

$$\mathbf{x}_{t+1}=\mathbf{x}_{t}+\tau\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}_{t})+\sqrt{2\tau}\mathbf{z}_{t},\qquad\text{where}\quad\mathbf{z}_{t}\sim\mathcal{N}(0,\mathbf{I}).$$ (88)

Congratulations! 우린 끝났어 이것은 모두 점수 기반 생성 모델에 관한 것입니다.

점수 매칭에 대한 추가 판독값은 빈센트의 기술 보고서 [9]로 시작해야 한다. 최근 문헌에서 매우 인기 있는 논문은 Song and Ermon [15], 그들의 후속 작업 [16], [8]이다. 실제로, 스코어 함수를 트레이닝하는 것은 노이즈 레벨들의 시퀀스를 고려함으로써 노이즈 스케줄을 필요로 한다. 다음 절에서 SDE를 폭발하는 분산을 설명할 때 이에 대해 간략히 논의할 것이다.

4 Stochastic Differential Equation (SDE)

Report issue for preceding element

지금까지 우리는 DDPM과 SMLD 관점을 통해 확산 반복을 유도했다. 이 절에서는 미분방정식의 렌즈를 통해 세 번째 관점을 소개하고자 한다. 왜 우리의 반복적인 계획들이 갑자기 복잡한 미분 방정식이 되는지는 분명하지 않을 수 있다. 따라서 방정식을 도출하기 전에 미분 방정식이 우리와 어떻게 관련될 수 있는지에 대해 간략하게 논의해야 한다.

4.1 Motivating Examples

Report issue for preceding element

Example 1. Simple First-Order ODE. Imagine that we are given a discrete-time algorithm with the iterations defined by the recursion: $$\mathbf{x}_{i}=\left(1-\frac{\beta\Delta t}{2}\right)\mathbf{x}_{i-1},\qquad\text{for}\;\;i=1,2,\ldots,N,$$ (89) for some hyperparameter $\beta$ and a step-size parameter $\Delta t$. This recursion has nothing complicated: You give us $\mathbf{x}_{i-1}$, we update and return you $\mathbf{x}_{i}$. If we assume a discretization scheme of a continuous time function $\mathbf{x}(t)$ by letting $\mathbf{x}_{i}=\mathbf{x}(\tfrac{i}{N})$, $\Delta t=\tfrac{1}{N}$, and $t\in\{0,\tfrac{1}{N},\ldots,\tfrac{N-1}{N}\}$, then we can rewrite the recursion as $\displaystyle\mathbf{x}(t+\Delta t)=\left(1-\frac{\beta\Delta t}{2}\right)\mathbf{x}(t).$ Rearranging the terms will give us $\displaystyle\frac{\mathbf{x}(t+\Delta t)-\mathbf{x}(t)}{\Delta t}=-\frac{\beta}{2}\mathbf{x}(t),$ where at the limit when $\Delta t\rightarrow 0$, we can write the discrete equation as an ordinary differential equation (ODE) $$\frac{d\mathbf{x}(t)}{dt}=-\frac{\beta}{2}\mathbf{x}(t).$$ (90) Not only that, we can solve for an analytic solution for the ODE where the solution is given by $$\mathbf{x}(t)=e^{-\frac{\beta}{2}t}.$$ (91) If you don’t believe us, just substitute Eqn (91) into Eqn (90) and you can show that the equality holds. The power of the ODE is that it offers us an analytic solution. Instead of resorting to the iterative scheme (which will take hundreds to thousands of iterations), the analytic solution tells us exactly the behavior of the solution at any time $t$. To illustrate this fact, we show in the figure below the trajectory of the solution $\mathbf{x}_{1},\mathbf{x}_{2},\ldots,\mathbf{x}_{i},\ldots,\mathbf{x}_{N}$ defined by the algorithm. Here, we choose $\Delta t=0.1$. In the same plot, we directly plot the continuous-time solution $\mathbf{x}(t)=\exp\{-\beta t/2\}$ for arbitrary $t$. As you can see, the analytic solution is exactly the same as the trajectory predicted by the iterative scheme.

이 동기 부여 사례에서 우리가 관찰하는 것은 두 가지 흥미로운 사실입니다.

• 이산-시간 반복 방식은 연속-시간 상미분 방정식으로 작성될 수 있다. 유한차분 방정식에 대해 우리는 재귀를 ODE로 바꿀 수 있다는 것이 밝혀졌다.

• 단순한 ODE의 경우, 우리는 분석해를 닫힌 형태로 적을 수 있다. 더 복잡한 ODE는 분석 솔루션을 작성하기 어려울 것이다. 그러나 여전히 ODE 도구를 사용하여 솔루션의 동작을 분석할 수 있습니다. 우리는 또한 제한 솔루션 $t\rightarrow 0$를 유도할 수 있다.

Example 2: Gradient Descent. Recall that a gradient descent algorithm for a (well-behaved) convex function $f$ is the following recursion. For $i=1,2,\ldots,N$, do $$\mathbf{x}_{i}=\mathbf{x}_{i-1}-\beta_{i-1}\nabla f(\mathbf{x}_{i-1}),$$ (92) for step-size parameter $\beta_{i}$. Using the same discretization as we did in the previous example, we can show that (by letting $\beta_{i-1}=\beta(t)\Delta t$): $\displaystyle\mathbf{x}_{i}=\mathbf{x}_{i-1}-\beta_{i-1}\nabla f(\mathbf{x}_{i-1})$ $\displaystyle\qquad\Longrightarrow\qquad\mathbf{x}(t+\Delta t)=\mathbf{x}(t)-\beta(t)\Delta t\nabla f(\mathbf{x}(t))$ $\displaystyle\qquad\Longrightarrow\qquad\frac{\mathbf{x}(t+\Delta t)-\mathbf{x}(t)}{\Delta t}=-\beta(t)\nabla f(\mathbf{x}(t))$ $\displaystyle\qquad\Longrightarrow\qquad\frac{d\mathbf{x}(t)}{dt}=-\beta(t)\nabla f(\mathbf{x}(t)).$ (93) The ordinary differential equation shown on the right has a solution trajectory $\mathbf{x}(t)$. This $\mathbf{x}(t)$ is known as the gradient flow of the function $f$. For simplicity, we can make $\beta(t)=\beta$ for all $t$. Then there are two simple facts about this ODE. First, we can show that $\displaystyle\frac{d}{dt}f(\mathbf{x}(t))$ $\displaystyle=\nabla f(\mathbf{x}(t))^{T}\frac{d\mathbf{x}(t)}{dt}$ $\displaystyle(\text{chain rule})$ $\displaystyle=\nabla f(\mathbf{x}(t))^{T}\left[-\beta\nabla f(\mathbf{x}(t))\right]$ $\displaystyle(\text{Eqn \eqref{eq: GD ODE main}})$ $\displaystyle=-\beta\nabla f(\mathbf{x}(t))^{T}\nabla f(\mathbf{x}(t))$ $\displaystyle=-\beta\|\nabla f(\mathbf{x}(t))\|^{2}\leq 0$ $\displaystyle(\text{norm-squares}).$ Therefore, as we move from $\mathbf{x}_{i-1}$ to $\mathbf{x}_{i}$, the objective value $f(\mathbf{x}(t))$ has to go down. This is consistent with our expectation because a gradient descent algorithm should bring the cost down as the iteration goes on. Second, at the limit when $t\rightarrow\infty$, we know that $\frac{d\mathbf{x}(t)}{dt}\rightarrow 0$. Hence, $\frac{d\mathbf{x}(t)}{dt}=-\nabla f(\mathbf{x}(t))$ will imply that $$\nabla f(\mathbf{x}(t))\rightarrow 0,\qquad\text{as }t\rightarrow\infty.$$ (94) Therefore, the solution trajectory $\mathbf{x}(t)$ will approach the minimizer for the function $f$.

Forward and Backward Updates.

경사 하강 예제를 사용하여 ODE의 한 가지 측면을 더 설명한다. Eqn(92)으로 돌아가면, 우리는 재귀가 동등하게 다음과 같이 기록될 수 있음을 인식한다($\beta(t)=\beta)$라고 가정함):

$$\underset{\Delta\mathbf{x}}{\underbrace{\mathbf{x}_{i}-\mathbf{x}_{i-1}}}=-\underset{\beta\Delta t}{\underbrace{\beta_{i-1}}}\nabla f(\mathbf{x}_{i-1})\;\;\Rightarrow\;\;d\mathbf{x}=-\beta\nabla f(\mathbf{x})dt,$$ (95)

where the continuous equation holds when we set $\Delta t\rightarrow 0$ and $\Delta\mathbf{x}\rightarrow 0$. The interesting point about this equality is that it gives us a summary of the update $\Delta\mathbf{x}$ by writing it in terms of $dt$. It says that if we move the along the time axis by $dt$, then the solution $\mathbf{x}$ will be updated by $d\mathbf{x}$.

Report issue for preceding element

Eqn(95)은 changes 간의 관계를 정의한다. 반복의 시퀀스 $i=1,2,\ldots,N$를 고려하고 반복의 진행이 Eqn(95)을 따른다고 하면 쓸 수 있다.

$$\text{(forward)}\hskip 56.9055pt\mathbf{x}_{i}=\mathbf{x}_{i-1}+\Delta\mathbf{x}_{i-1} \approx\mathbf{x}_{i-1}+d\mathbf{x}$$

$$=\mathbf{x}_{i-1}-\nabla f(\mathbf{x}_{i-1})\beta dt$$

$$\approx\mathbf{x}_{i-1}-\beta_{i-1}\nabla f(\mathbf{x}_{i-1}).$$

We call this as the forward equation because we update $\mathbf{x}$ by $\mathbf{x}+\Delta\mathbf{x}$ assuming that $t\leftarrow t+\Delta t$.

Report issue for preceding element

이제, $i=N,N-1,\ldots,2,1$를 반복하는 시퀀스를 생각해 보자. 반복의 진행이 Eqn(95)을 따른다고 하면 시간-역 반복은 다음과 같다.

$$\text{(reverse)}\hskip 56.9055pt\mathbf{x}_{i-1}=\mathbf{x}_{i}-\Delta\mathbf{x}_{i} \approx\mathbf{x}_{i}+d\mathbf{x}$$

$$=\mathbf{x}_{i}+\beta\nabla f(\mathbf{x}_{i})dt$$

$$\approx\mathbf{x}_{i}+\beta_{i}\nabla f(\mathbf{x}_{i}).$$

진행 방향을 반전할 때 부호 변화에 주목하라. 이를 reverse 식이라고 합니다.

4.2 Forward and Backward Iterations in SDE

Report issue for preceding element

The concept of differential equation for diffusion is not too far from the above gradient descent algorithm. If we introduce a noise term $\mathbf{z}_{t}\sim\mathcal{N}(0,\mathbf{I})$ to the gradient descent algorithm, then the ODE will become a stochastic differential equation (SDE). To see this, we just follow the same discretization scheme by defining $\mathbf{x}(t)$ as a continuous function for $0\leq t\leq 1$. Suppose that there are $N$ steps in the interval so that the interval $[0,1]$ can be divided into a sequence $\{\tfrac{i}{N}\,|\,i=0,\ldots,N-1\}$. The discretization will give us $\mathbf{x}_{i}=\mathbf{x}(\tfrac{i}{N})$, and $\mathbf{x}_{i-1}=\mathbf{x}(\tfrac{i-1}{N})$. The interval step is $\Delta t=\tfrac{1}{N}$, and the set of all $t$’s is $t\in\{0,\tfrac{1}{N},\ldots,\tfrac{N-1}{N}\}$. Using these definitions, we can write

Report issue for preceding element

$$\mathbf{x}_{i} =\mathbf{x}_{i-1}-\tau\nabla f(\mathbf{x}_{i-1})+\mathbf{z}_{i-1}$$

$$\qquad\Longrightarrow\qquad \mathbf{x}(t+\Delta t) =\mathbf{x}(t)-\tau\nabla f(\mathbf{x}(t))+\mathbf{z}(t).$$

Now, let’s define a random process $\mathbf{w}(t)$ such that $\mathbf{z}(t)=\mathbf{w}(t+\Delta t)-\mathbf{w}(t)\approx\frac{d\mathbf{w}(t)}$ for a very small $\Delta t$. In computation, we can generate such a $\mathbf{w}(t)$ by integrating $\mathbf{z}(t)$ (which is a Wiener process). With $\mathbf{w}(t)$ defined, we can write

Report issue for preceding element

$$\mathbf{x}(t+\Delta t) =\mathbf{x}(t)-\tau\nabla f(\mathbf{x}(t))+\mathbf{z}(t)$$

$$\qquad\Longrightarrow\qquad \mathbf{x}(t+\Delta t)-\mathbf{x}(t) =-\tau\nabla f(\mathbf{x}(t))+\mathbf{w}(t+\Delta t)-\mathbf{w}(t)$$

$$\qquad\Longrightarrow\qquad d\mathbf{x} =-\tau\nabla f(\mathbf{x})dt+d\mathbf{w}.$$

The equation above reveals a generic form of the SDE. We summarize it as follows. Forward Diffusion. $$d\mathbf{x}=\underset{\text{drift}}{\underbrace{\mathbf{f}(\mathbf{x},t)}}\;dt$$ (96)

Report issue for preceding element

$\mathbf{f}(\mathbf{x},t)$와 $g(t)$라는 두 용어는 물리적인 의미를 지니고 있다. 드래프트 계수는 무작위 효과가 없을 때 닫힌 시스템의 분자가 이동하는 방법을 정의하는 벡터 값 함수 $\mathbf{f}(\mathbf{x},t)$이다. 경사 하강 알고리즘의 경우 드리프트는 목적 함수의 음의 기울기에 의해 정의된다. 즉, 우리는 해 궤적이 목표의 기울기를 따르기를 원한다.

확산 계수 $g(t)$는 분자가 한 위치에서 다른 위치로 무작위로 걷는 방법을 설명하는 스칼라 함수이다. 함수 $g(t)$는 랜덤 이동이 얼마나 강한지를 결정한다.

Example. Consider the equation $$d\mathbf{x}=ad\mathbf{w},$$ where $a=0.05$. The iterative scheme can be written as $\displaystyle\mathbf{x}_{i}-\mathbf{x}_{i-1}=a\underset{\overset{\text{def}}{=}\mathbf{z}_{i-1}\sim\mathcal{N}(0,\mathbf{I})}{\underbrace{(\mathbf{w}_{i}-\mathbf{w}_{i-1})}}\quad\Rightarrow\quad\mathbf{x}_{i}=\mathbf{x}_{i-1}+a\mathbf{z}_{i}.$ We can plot the function $\mathbf{x}_{i}$ as below. The initial point $\mathbf{x}_{0}=0$ is marked as in red to indicate that the process is moving forward in time.

Remark. 보시다시피, 차분 $d\mathbf{w}=\mathbf{w}_{i}-\mathbf{w}_{i-1}$는 백색 가우시안 벡터인 위너 프로세스로 정의된다. 개별 $\mathbf{w}_{i}$는 가우시안인 것이 아니라, 차이 $\mathbf{w}_{i}-\mathbf{w}_{i-1}$는 가우시안이다.

Example. Consider the equation $$d\mathbf{x}=-\frac{\alpha}{2}\mathbf{x}dt+\beta d\mathbf{w},$$ where $\alpha=1$ and $\beta=0.1$. This equation can be written as $\displaystyle\mathbf{x}_{i}-\mathbf{x}_{i-1}=-\frac{\alpha}{2}\mathbf{x}_{i-1}+\beta\underset{\overset{\text{def}}{=}\mathbf{z}_{i-1}\sim\mathcal{N}(0,\mathbf{I})}{\underbrace{(\mathbf{w}_{i}-\mathbf{w}_{i-1})}}\quad\Rightarrow\quad\mathbf{x}_{i}=\left(1-\frac{\alpha}{2}\right)\mathbf{x}_{i-1}+\beta\mathbf{z}_{i-1}.$ We can plot the function $\mathbf{x}_{i}$ as below.

확산 방정식의 역 방향은 시간적으로 뒤로 이동하는 것이다. Anderson [17]에 따른 역방향-시간 SDE는 다음과 같이 주어진다. Reverse SDE. Example. Consider the reverse diffusion equation $$d\mathbf{x}=ad\overline{\mathbf{w}}.$$ (98) We can write the discrete-time recursion as follows. For $i=N,N-1,\ldots,1$, do $\displaystyle\mathbf{x}_{i-1}=\mathbf{x}_{i}+a\underset{=\mathbf{z}_{i}}{\underbrace{(\mathbf{w}_{i-1}-\mathbf{w}_{i})}}=\mathbf{x}_{i}+a\mathbf{z}_{i},\quad\mathbf{z}_{i}\sim\mathcal{N}(0,\mathbf{I}).$ In the figure below we show the trajectory of this reverse-time process. Note that the initial point marked in red is at $\mathbf{x}_{N}$. The process is tracked backward to $\mathbf{x}_{0}$.

4.3 Stochastic Differential Equation for DDPM

Report issue for preceding element

DDPM과 SDE 사이의 연결을 도출하기 위해 이산 시간 DDPM 반복을 고려한다. $i=1,2,\ldots,N$

$$\mathbf{x}_{i}=\sqrt{1-\beta_{i}}\mathbf{x}_{i-1}+\sqrt{\beta_{i}}\mathbf{z}_{i-1},\qquad\mathbf{z}_{i-1}\sim\mathcal{N}(0,\mathbf{I}).$$ (99)

We can show that this equation can be derived from the forward SDE equation below. The forward sampling equation of DDPM can be written as an SDE via $$d\mathbf{x}=\underset{=\mathbf{f}(\mathbf{x},t)}{\underbrace{-\frac{\beta(t)}{$$ (100)

Report issue for preceding element

이 경우인 이유를 알아보기 위해, 스텝 사이즈 $\Delta t=\tfrac{1}{N}$를 정의하고, 보조 노이즈 레벨 $\{\overline{\beta}_{i}\}_{i=1}^{N}$ 여기서 $\beta_{i}=\tfrac{\overline{\beta}_{i}}{N}$를 고려한다. 그럼

$$\beta_{i}=\underset{\overline{\beta}_{i}}{\underbrace{\beta\left(\tfrac{i}{N}\right)}}\cdot\frac{1}{N}=\beta(t+\Delta t)\Delta t,$$

여기서, $N\rightarrow\infty$, $\overline{\beta}_{i}=\rightarrow\beta(t)$에 대한 연속 시간 함수라고 가정한다. 유사하게, 우리는 정의한다

$$\mathbf{x}_{i}=\mathbf{x}\left(\tfrac{i}{N}\right)=\mathbf{x}(t+\Delta t),\quad\mathbf{z}_{i}=\mathbf{z}\left(\tfrac{i}{N}\right)=\mathbf{z}(t+\Delta t).$$

따라서 우리는

$$\mathbf{x}_{i} =\sqrt{1-\beta_{i}}\mathbf{x}_{i-1}+\sqrt{\beta_{i}}\mathbf{z}_{i-1}$$

$$\Rightarrow\qquad \mathbf{x}_{i} =\sqrt{1-\tfrac{\overline{\beta}_{i}}{N}}\mathbf{x}_{i-1}+\sqrt{\tfrac{\overline{\beta}_{i}}{N}}\mathbf{z}_{i-1}$$

$$\Rightarrow\qquad \mathbf{x}(t+\Delta t) =\sqrt{1-\beta(t+\Delta t)\cdot\Delta t}\;\mathbf{x}(t)+\sqrt{\beta(t+\Delta t)\cdot\Delta t}\;\mathbf{z}(t)$$

$$\Rightarrow\qquad \mathbf{x}(t+\Delta t) \approx\left(1-\frac{1}{2}\beta(t+\Delta t)\cdot\Delta t\right)\;\mathbf{x}(t)+\sqrt{\beta(t+\Delta t)\cdot\Delta t}\;\mathbf{z}(t)$$

$$\Rightarrow\qquad \mathbf{x}(t+\Delta t) \approx\mathbf{x}(t)-\frac{1}{2}\beta(t)\Delta t\;\mathbf{x}(t)+\sqrt{\beta(t)\cdot\Delta t}\;\mathbf{z}(t).$$

Thus, as $\Delta t\rightarrow 0$, we have

Report issue for preceding element

$$d\mathbf{x}=-\frac{1}{2}\beta(t)\mathbf{x}dt+\sqrt{\beta(t)}\;d\mathbf{w}.$$ (101)

따라서 DDPM 포워드 업데이트 반복이 SDE로 동등하게 작성될 수 있음을 보였다.

DDPM 순방향 업데이트 반복을 SDE로 작성할 수 있다는 것은 SDE를 풀어서 DDPM 추정치를 결정할 수 있다는 것을 의미한다. 즉, 적절하게 정의된 SDE 솔버를 위해, 우리는 SDE를 솔버 안으로 던질 수 있다. 적절하게 선택된 풀이자가 반환하는 해는 DDPM 추정치일 것이다. 물론, 우리는 DDPM 반복 자체가 SDE를 해결하고 있기 때문에 SDE 해결기를 사용할 필요가 없다. DDPM 반복은 단지 1차 방법이기 때문에 최상의 SDE 해결사는 아닐 수 있다. 그럼에도 불구하고 SDE 솔버를 사용하는 데 관심이 없다면 여전히 DDPM 반복을 사용하여 솔루션을 얻을 수 있다. 예를 들어 설명하면 다음과 같다.

Example. Consider the DDPM forward equation with $\beta_{i}=0.05$ for all $i=0,\ldots,N-1$. We initialize the sample $\mathbf{x}_{0}$ by drawing it from a Gaussian mixture such that $$\mathbf{x}_{0}\sim\sum_{k=1}^{K}\pi_{k}\mathcal{N}(\mathbf{x}_{0}|\boldsymbol{\mu}_{k},\sigma_{k}^{2}\mathbf{I}),$$ where $\pi_{1}=\pi_{2}=0.5$, $\sigma_{1}=\sigma_{2}=1$, $\boldsymbol{\mu}_{1}=3$ and $\boldsymbol{\mu}_{2}=-3$. Then, using the equation $$\mathbf{x}_{i}=\sqrt{1-\beta_{i}}\mathbf{x}_{i-1}+\sqrt{\beta_{i}}\mathbf{z}_{i-1},\qquad\mathbf{z}_{i-1}\sim\mathcal{N}(0,\mathbf{I}),$$ we can plot the trajectory and the distribution as follows.

The reverse diffusion equation follows from Eqn (97) by substituting the appropriate quantities: $\mathbf{f}(\mathbf{x},t)=-\frac{\beta(t)}{2}$ and $g(t)=\sqrt{\beta(t)}$. This will give us

Report issue for preceding element

$$d\mathbf{x} =[\mathbf{f}(\mathbf{x},t)-g(t)^{2}\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x})]dt+g(t)d\overline{\mathbf{w}}$$

$$=\left[-\frac{\beta(t)}{2}\;\mathbf{x}-\beta(t)\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x})\right]dt+\sqrt{\beta(t)}d\overline{\mathbf{w}},$$

which will give us the following equation: The reverse sampling equation of DDPM can be written as an SDE via $$d\mathbf{x}=-\beta(t)\left[\frac{\mathbf{x}}{2}+\nabla_{\mathbf{x}}\log p_{t}($$ (102)

Report issue for preceding element

The iterative update scheme can be written by considering $d\mathbf{x}=\mathbf{x}(t)-\mathbf{x}(t-\Delta t)$, and $d\overline{\mathbf{w}}=\mathbf{w}(t-\Delta t)-\mathbf{w}(t)=-\mathbf{z}(t)$. Then, letting $dt=\Delta t$, we can show that

Report issue for preceding element

$$\mathbf{x}(t)-\mathbf{x}(t-\Delta t) =-\beta(t)\Delta t\left[\frac{\mathbf{x}(t)}{2}+\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x}(t))\right]-\sqrt{\beta(t)\Delta t}\mathbf{z}(t)$$

$$\Rightarrow\quad \mathbf{x}(t-\Delta t) =\mathbf{x}(t)+\beta(t)\Delta t\left[\frac{\mathbf{x}(t)}{2}+\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x}(t))\right]+\sqrt{\beta(t)\Delta t}\mathbf{z}(t).$$

By grouping the terms, and assuming that $\beta(t)\Delta t\ll 1$, we recognize that

Report issue for preceding element

$$\mathbf{x}(t-\Delta t) =\mathbf{x}(t)\left[1+\frac{\beta(t)\Delta t}{2}\right]+\beta(t)\Delta t\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x}(t))+\sqrt{\beta(t)\Delta t}\mathbf{z}(t)$$

$$\approx\mathbf{x}(t)\left[1+\frac{\beta(t)\Delta t}{2}\right]+\beta(t)\Delta t\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x}(t))+{\color[rgb]{0,0,1}\tfrac{(\beta(t)\Delta t)^{2}}{2}\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x}(t))}+\sqrt{\beta(t)\Delta t}\mathbf{z}(t)$$

$$=\left[1+\frac{\beta(t)\Delta t}{2}\right]\Big{(}\mathbf{x}(t)+\beta(t)\Delta t\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x}(t))\Big{)}+\sqrt{\beta(t)\Delta t}\mathbf{z}(t).$$

Then, following the discretization scheme by letting $t\in\{0,\ldots,\frac{N-1}{N}\}$, $\Delta t=1/N$, $\mathbf{x}(t-\Delta t)=\mathbf{x}_{i-1}$, $\mathbf{x}(t)=\mathbf{x}_{i}$, and $\beta(t)\Delta t=\beta_{i}$, we can show that

Report issue for preceding element

$$\mathbf{x}_{i-1} =(1+\tfrac{\beta_{i}}{2})\Big{[}\mathbf{x}_{i}+\tfrac{\beta_{i}}{2}\nabla_{\mathbf{x}}\log p_{i}(\mathbf{x}_{i})\Big{]}+\sqrt{\beta_{i}}\mathbf{z}_{i}$$

$$\approx\tfrac{1}{\sqrt{1-\beta_{i}}}\Big{[}\mathbf{x}_{i}+\tfrac{\beta_{i}}{2}\nabla_{\mathbf{x}}\log p_{i}(\mathbf{x}_{i})\Big{]}+\sqrt{\beta_{i}}\mathbf{z}_{i},$$ (103)

여기서 $p_{i}(\mathbf{x})$는 $\mathbf{x}$의 시간 $i$에서의 확률 밀도 함수이다. 실제 구현을 위해 $\nabla_{\mathbf{x}}\log p_{i}(\mathbf{x}_{i})$를 추정 점수 함수 $\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}_{i})$로 대체할 수 있다.

따라서 우리는 [8]에서 Song과 Ermon이 정의한 것과 일치하는 DDPM 반복을 복구했다. 이것은 점수 함수를 사용하여 DDPM의 반복을 연결할 수 있기 때문에 흥미로운 결과이다. Song and Ermon [8] SDE를 variance preserving (VP) SDE라고 불렀다.

Example. Following from the previous example, we perform the reverse diffusion equation using $$\mathbf{x}_{i-1}=\tfrac{1}{\sqrt{1-\beta_{i}}}\Big{[}\mathbf{x}_{i}+\tfrac{\beta_{i}}{2}\nabla_{\mathbf{x}}\log p_{i}(\mathbf{x}_{i})\Big{]}+\sqrt{\beta_{i}}\mathbf{z}_{i},$$ where $\mathbf{z}_{i}\sim\mathcal{N}(0,\mathbf{I})$. The trajectory of the iterates is shown below.

4.4 Stochastic Differential Equation for SMLD

Report issue for preceding element

점수 매칭 랭빈 다이내믹스 모델은 또한 SDE에 의해 기술될 수 있다. 우선, 우리는 SMLD 설정에서 실제로 "전진 확산 단계"가 없다는 것을 알아챘다. 그러나 SMLD 훈련에서 노이즈 스케일을 $N$ 수준으로 나누면 재귀가 마르코프 체인을 따라야 한다고 대략적으로 주장할 수 있다.

$$\mathbf{x}_{i}=\mathbf{x}_{i-1}+\sqrt{\sigma_{i}^{2}-\sigma_{i-1}^{2}}\mathbf{z}_{i-1},\qquad i=1,2,\ldots,N.$$ (104)

이것은 보기에 그리 어렵지 않습니다. $\mathbf{x}_{i-1}$의 분산이 $\sigma_{i-1}^{2}$라고 가정하면, 우리는 다음을 보여줄 수 있다.

$$\mathrm{Var}[\mathbf{x}_{i}] =\mathrm{Var}[\mathbf{x}_{i-1}]+(\sigma_{i}^{2}-\sigma_{i-1}^{2})$$

$$=\sigma_{i-1}^{2}+(\sigma_{i}^{2}-\sigma_{i-1}^{2})=\sigma_{i}^{2}.$$

그러므로, 노이즈 레벨의 시퀀스가 주어지면, Eqn(104)은 실제로 노이즈 통계가 원하는 특성을 만족시킬 수 있도록 추정치 $\mathbf{x}_{i}$를 생성할 것이다.

If we agree Eqn (104), it is easy to derive the SDE associated with Eqn (104). Assuming that in the limit $\{\sigma_{i}\}_{i=1}^{N}$ becomes the continuous time $\sigma(t)$ for $0\leq t\leq 1$, and $\{\mathbf{x}_{i}\}_{i=1}^{N}$ becomes $\mathbf{x}(t)$ where $\mathbf{x}_{i}=\mathbf{x}(\tfrac{i}{N})$ if we let $t\in\{0,\tfrac{1}{N},\ldots,\tfrac{N-1}{N}\}$. Then we have

Report issue for preceding element

$$\mathbf{x}(t+\Delta t) =\mathbf{x}(t)+\sqrt{\sigma(t+\Delta t)^{2}-\sigma(t)^{2}}\mathbf{z}(t)$$

$$\approx\mathbf{x}(t)+\sqrt{\frac{d[\sigma(t)^{2}]}{dt}\Delta t}\;\mathbf{z}(t).$$

At the limit when $\Delta t\rightarrow 0$, the equation converges to

Report issue for preceding element

$$d\mathbf{x}=\sqrt{\frac{d[\sigma(t)^{2}]}{dt}}\;d\mathbf{w}.$$

We summarize our result as follows. The forward sampling equation of SMLD can be written as an SDE via $$d\mathbf{x}=\sqrt{\frac{d[\sigma(t)^{2}]}{dt}}\;d\mathbf{w}.$$ (105) Mapping this to Eqn (96), we recognize that

Report issue for preceding element

$$\mathbf{f}(\mathbf{x},t)=0,\qquad\text{and}\qquad g(t)=\sqrt{\frac{d[\sigma(t)^{2}]}{dt}}.$$

결과적으로, 우리가 역 방정식 Eqn(97)을 쓰면, 우리는 가져야 한다.

$$d\mathbf{x} =[\mathbf{f}(\mathbf{x},t)-g(t)^{2}\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x})]\;dt\;\;+\;\;g(t)d\overline{\mathbf{w}}$$

$$=-\left(\frac{d[\sigma(t)^{2}]}{dt}\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x}(t))\right)dt+\sqrt{\frac{d[\sigma(t)^{2}]}{dt}}\;d\overline{\mathbf{w}}.$$

This will give us the following reverse equation: The reverse sampling equation of SMLD can be written as an SDE via $$d\mathbf{x}=-\left(\frac{d[\sigma(t)^{2}]}{dt}\nabla_{\mathbf{x}}\log p_{t}($$ (106) For the discrete-time iterations, we first define $\alpha(t)=\frac{d[\sigma(t)^{2}]}{dt}$. Then, using the same set of discretization setups as the DDPM case, we can show that

Report issue for preceding element

$$\mathbf{x}(t+\Delta t)-\mathbf{x}(t) =-\Big{(}\alpha(t)\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x})\Big{)}\Delta t-\sqrt{\alpha(t)\Delta t}\;\mathbf{z}(t)$$

$$\Rightarrow\quad \mathbf{x}(t) =\mathbf{x}(t+\Delta t)+\alpha(t)\Delta t\nabla_{\mathbf{x}}\log p_{t}(\mathbf{x})+\sqrt{\alpha(t)\Delta t}\;\mathbf{z}(t)$$

$$\Rightarrow\quad \mathbf{x}_{i-1} =\mathbf{x}_{i}+\alpha_{i}\nabla_{\mathbf{x}}\log p_{i}(\mathbf{x}_{i})+\sqrt{\alpha_{i}}\;\mathbf{z}_{i}$$ (107)

$$\Rightarrow\quad \mathbf{x}_{i-1} =\mathbf{x}_{i}+(\sigma_{i}^{2}-\sigma_{i-1}^{2})\nabla_{\mathbf{x}}\log p_{i}(\mathbf{x}_{i})+\sqrt{(\sigma_{i}^{2}-\sigma_{i-1}^{2})}\;\mathbf{z}_{i},$$

이는 SMLD 역갱신 방정식과 동일하다. Song and Ermon [8]는 SDE를 variance exploding (VE) SDE라고 불렀다.

4.5 Solving SDE

Report issue for preceding element

이 부분에서는 미분방정식이 어떻게 수치적으로 풀리는지에 대해 간단히 논의한다. 논의를 조금 더 쉽게 하기 위해, 우리는 ODE에 초점을 맞출 것이다. 다음 ODE 고려

$$\frac{d\mathbf{x}(t)}{dt}=\mathbf{f}(\mathbf{x}(t),t).$$ (108)

If the ODE is a scalar ODE, then the ODE is $\frac{dx(t)}{dt}=f(x(t),t)$.

Report issue for preceding element

Euler Method. Euler method is a first order numerical method for solving the ODE. Given $\frac{dx(t)}{dt}=f(x(t),t)$, and $x(t_{0})=x_{0}$, Euler method solves the problem via an iterative scheme for $i=0,1,\ldots,N-1$ such that

Report issue for preceding element

$$x_{i+1}=x_{i}+\alpha\cdot f(x_{i},t_{i}),\qquad 0,1,\ldots,N-1,$$

여기서 $\alpha$는 스텝 사이즈이다. 간단한 예를 생각해 보자.

Example. [18, Example 2.2] Consider the following ODE $$\frac{dx(t)}{dt}=\frac{x(t)+t^{2}-2}{t+1}.$$ If we apply the Euler method with a step size $\alpha$, then the iteration will take the form $\displaystyle x_{i+1}=x_{i}+\alpha\cdot f(x_{i},t_{i})=x_{i}+\alpha\cdot\frac{(x_{i}+t_{i}^{2}-2)}{t_{i}+1}.$

Runge-Kutta (RK) Method. 또 다른 대중적으로 사용되는 ODE 해결 방법은 Runge-Kutta(RK) 방법이다. 기존의 RK-4 알고리즘은 반복을 통해 ODE를 해결한다.

$$x_{i+1}=x_{i}+\frac{\alpha}{6}\cdot\Big{(}k_{1}+2k_{2}+2k_{3}+k_{4}\Big{)},\qquad i=1,2,\ldots,N,$$

여기서, 수량 $k_{1}$, $k_{2}$, $k_{3}$ 및 $k_{4}$는 다음과 같이 정의된다.

$$k_{1} =f(x_{i},t_{i}),$$

$$k_{2} =f\left(x_{i}+\alpha\tfrac{k_{1}}{2},\;t_{i}+\tfrac{\alpha}{2}\right),$$

$$k_{3} =f\left(x_{i}+\alpha\tfrac{k_{2}}{2},\;t_{i}+\tfrac{\alpha}{2}\right),$$

$$k_{4} =f\left(x_{i}+\alpha k_{3},\;t_{i}+\alpha\right).$$

자세한 내용은 [18]와 같은 수법 교재를 참고할 수 있다.

Predictor-Corrector Algorithm. 상이한 수치 솔버는 근사의 오차 측면에서 상이한 거동을 갖기 때문에, ODE(또는 SDE)를 기성 수치 솔버에 던지는 것은 다양한 정도의 오차 [19]를 초래할 것이다. 그러나, 우리가 역확산 방정식을 구체적으로 해결하려고 한다면, 그림 22에 예시된 바와 같이, 적절한 보정을 하기 위해 수치 ODE/SDE 솔버 이외의 기술을 사용하는 것이 가능하다.

Figure 22:Prediction and correction algorithm.

Report issue for preceding element

DDPM을 예로 들어보자. DDPM에서 역확산 방정식은 다음과 같다.

$$\mathbf{x}_{i-1}=\tfrac{1}{\sqrt{1-\beta_{i}}}\Big{[}\mathbf{x}_{i}+\tfrac{\beta_{i}}{2}\nabla_{\mathbf{x}}\log p_{i}(\mathbf{x}_{i})\Big{]}+\sqrt{\beta_{i}}\mathbf{z}_{i}.$$

우리는 역확산을 위한 오일러 방법으로 고려할 수 있다. 그러나, 스코어 함수 $\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}_{i},i)$를 이미 학습시킨 경우, 스코어 매칭 방정식을 실행할 수 있고, 즉,

$$\mathbf{x}_{i-1}=\mathbf{x}_{i}+\epsilon_{i}\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}_{i},i)+\sqrt{2\epsilon_{i}}\mathbf{z}_{i},$$

for $M$ times to make correction. 알고리즘1는 아이디어를 요약한 것이다. (우리가 점수 함수를 추정치로 대체했다는 점에 유의하라.)

Algorithm 1 Prediction Correction Algorithm for DDPM.

  $\mathbf{x}_{N}=\mathcal{N}(0,\mathbf{I})$.

  for $i=N-1,\ldots,0$ do

     

$$(\text{Prediction})\qquad\mathbf{x}_{i-1}=\tfrac{1}{\sqrt{1-\beta_{i}}}\Big{[}\mathbf{x}_{i}+\tfrac{\beta_{i}}{2}\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}_{i},i)\Big{]}+\sqrt{\beta_{i}}\mathbf{z}_{i}.$$ (109)

     for $m=1,\ldots,M$ do

        

$$(\text{Correction})\qquad\mathbf{x}_{i-1}=\mathbf{x}_{i}+\epsilon_{i}\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}_{i},i)+\sqrt{2\epsilon_{i}}\mathbf{z}_{i},$$ (110)

     end for

  end for

Report issue for preceding element

SMLD 알고리즘의 경우, 두 방정식은 다음과 같다:

$$\mathbf{x}_{i-1} =\mathbf{x}_{i}+(\sigma_{i}^{2}-\sigma_{i-1}^{2})\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}_{i},\sigma_{i})+\sqrt{\sigma_{i}^{2}-\sigma_{i-1}^{2}}\mathbf{z} \text{Prediction},$$

$$\mathbf{x}_{i-1} =\mathbf{x}_{i}+\epsilon_{i}\nabla_{\mathbf{x}}\mathbf{s}_{\boldsymbol{\theta}}(\mathbf{x}_{i},\sigma_{i})+\sqrt{\epsilon_{i}}\;\mathbf{z} \text{Correction}.$$

우리는 수정 반복을 몇 번 반복함으로써 DDPM의 예측-수정 알고리즘의 경우와 같이 이들을 짝지을 수 있다.

Accelerate the SDE Solver. 일반 ODE 솔루션은 ODE를 해결하는 데 사용할 수 있지만 우리가 접하는 정방향 및 역방향 확산 방정식은 매우 특별한다. 사실, 그들은...의 형태를 취한다.

$$\frac{d\mathbf{x}(t)}{dt}=\mathbf{a}(t)\mathbf{x}(t)+\mathbf{b}(t),\qquad\mathbf{x}(t_{0})=\mathbf{x}_{0},$$ (111)

for some choice of functions $\mathbf{a}(t)$ and $\mathbf{b}(t)$, with the initial condition $\mathbf{x}(t_{0})=\mathbf{x}_{0}$. This is not a complicated ODE. It is just a first order ODE. In [20], Lu et al. observed that because of the special structure of the ODE (they called the semi-linear structure), it is possible to separately handle $\mathbf{a}(t)\mathbf{x}(t)$ and $\mathbf{b}(t)$. To understand how things work, we use a textbook result shown below. Theorem [Variation of Constants] ([21, Theorem 1.2.3]). Consider the ODE over the range $[s,t]$: $$\frac{dx(t)}{dt}=a(t)x(t)+b(t),\qquad\text{where}\;\;x(t_{0})=x_{0}.$$ (112) The solution is given by $$x(t)=x_{0}e^{A(t)}+e^{A(t)}\int_{t_{0}}^{t}e^{-A(\tau)}b(\tau)d\tau.$$ (113) where $A(t)=\int_{t_{0}}^{t}a(\tau)d\tau$. We can further simplify the second term above by noticing that

Report issue for preceding element

$$e^{A(t)-A(\tau)} =e^{\int_{t_{0}}^{t}a(r)dr-\int_{t_{0}}^{\tau}a(r)dr}=e^{\int_{\tau}^{t}a(r)dr}.$$

[20]는 [8]로부터 유도된 역확산 방정식이었다:

$$\frac{d\mathbf{x}(t)}{dt}=f(t)\mathbf{x}(t)+\frac{g^{2}(t)}{2\sigma(t)}\boldsymbol{\epsilon}_{\boldsymbol{\theta}}(\mathbf{x}(t),t),\qquad\mathbf{x}(t)\sim\mathcal{N}(0,\widetilde{\sigma}^{2}\mathbf{I}),$$

where $f(t)=\frac{d\log\alpha(t)}{dt}$, and $g^{2}(t)=\frac{d\sigma(t)^{2}}{dt}-2\frac{d\log\alpha(t)}{dt}\sigma(t)^{2}$. Using the Variation of Constants Theorem, we can solve the ODE exactly at time $t$ by the formula

Report issue for preceding element

$$\mathbf{x}(t)=e^{\int_{s}^{t}f(\tau)d\tau}\mathbf{x}(s)+\int_{s}^{t}\left(e^{\int_{\tau}^{t}f(r)dr}\frac{g^{2}(\tau)}{2\sigma(\tau)}\boldsymbol{\epsilon}_{\boldsymbol{\theta}}(\mathbf{x}(\tau),\tau)\right)d\tau.$$

Then, by defining $\lambda_{t}=\log\alpha(t)/\sigma(t)$, and with additional simplifications outlined in [20], this equation can be simplified to

Report issue for preceding element

$$\mathbf{x}(t)=\frac{\alpha(t)}{\alpha(s)}\mathbf{x}(s)-\alpha(t)\int_{s}^{t}\left(\frac{d\lambda_{\tau}}{d\tau}\right)\frac{\sigma(\tau)}{\alpha(\tau)}\boldsymbol{\epsilon}_{\boldsymbol{\theta}}(\mathbf{x}(tau))d\tau.$$

이 방정식을 평가하기 위해서는 오른쪽에 표시된 적분을 위한 수치적분기를 실행하기만 하면 된다. 물론, 간결함을 위해 건너뛰어야 할 ODE를 해결하기 위한 다른 수치 가속 방법이 있다.

Congratulations! 우린 끝났어 이건 SDE에 관한 거야

여러분 중 몇몇은 궁금할지도 모릅니다: 왜 우리는 반복적인 계획을 미분 방정식에 매핑하기를 원하나요? 몇 가지 이유가 있는데, 일부는 합법적인 반면 일부는 추측적이다.

• 여러 확산 모델을 동일한 SDE 프레임워크로 통합함으로써 알고리즘을 비교할 수 있다. 경우에 따라 확률적 샘플링 문헌뿐만 아니라 SDE 문헌에서 아이디어를 차용하여 수치 스킴을 개선할 수 있다. 예를 들어, [8]의 예측자-수정자 스킴은 마르코프 체인 몬테 카를로와 결합된 하이브리드 SDE 솔버였다.

• [22]와 같은 일부 논문에 따르면 확산 반복을 SDE에 매핑하면 더 많은 디자인 유연성을 제공한다.

• 컨텍스트 확산 알고리즘 외에 일반적인 확률적 경사 하강 알고리즘에서는 Fokker-Planck 방정식과 같은 상응하는 SDE를 갖는다. 사람들은 추정치의 한계 분포를 정확히 닫힌 형태로 이론적으로 분석하는 방법을 입증했다. 이것은 잘 정의된 제한 분포를 분석하는 수단으로 무작위 알고리즘을 분석하는 어려움을 완화한다.

5 Conclusion

Report issue for preceding element

이 자습서는 최근 문헌에서 확산 기반 생성 모델의 개발을 뒷받침하는 몇 가지 기본 개념을 다룬다. 문헌의 순전한 양(그리고 빠르게 확장됨)을 감안할 때 파이썬 데모를 재활용하는 대신 근본적인 아이디어를 설명하는 것이 특히 중요하다는 것을 알게 된다. 이 자습서를 쓰면서 배운 몇 가지 교훈은 다음과 같습니다.

• 동일한 확산 아이디어는 VAE, DDPM, SMLD 및 SDE와 같은 여러 관점에서 독립적으로 도출될 수 있다. 어떤 사람들은 다르게 주장할 수 있지만, 한 사람이 다른 사람보다 더 우월한/열등한 이유는 특별한 이유가 없다.

• 디노이징 확산이 작동하는 주된 이유는 GAN과 VAE 시대에 실현되지 않은 작은 증가 때문이다.

• 반복적 노이즈 제거가 현재 최첨단이지만, 접근법 자체가 궁극적인 해결책으로 보이지는 않는다. 인간은 순수한 잡음으로부터 이미지를 생성하지 않는다. 또한 확산 모델의 작은 증가 특성으로 인해 상황을 개선하기 위해 지식 증류에 대한 일부 노력이 있었지만 속도는 계속해서 주요 장애물이 될 것이다.

• 비 가우시안으로부터 잡음을 발생시키는 것에 관한 몇몇 질문들은 정당성을 요구할 수 있다. 가우시안 분포를 도입하는 전체 이유가 유도를 더 쉽게 하기 위해서라면, 왜 우리는 우리의 삶을 더 어렵게 만들어 다른 종류의 잡음으로 전환해야 하는가?

• 역문제에 대한 확산 모델의 적용은 쉽게 구할 수 있다. Plug-and-Play ADMM 알고리즘과 같은 기존의 역해법들에 대해, 우리는 명시적 확산 샘플러로 데노아저를 대체할 수 있다. 사람들은 이 접근법을 기반으로 개선된 이미지 복원 결과를 입증했다.